本講義は、前半を山際が担当し、後半を和田が担当する。

前半は、計算機アーキテクチャのおさらいから始まり、プロセッサ単体での命令レベル並列性について理解し、並列分散処理の構成について理解する。さらに、複数のプロセッサを接続するネットワークの構成と通信方式を理解し、分散配置された記憶の管理について理解する。並列分散環境において、プログラムを構成するための基本原理とプログラムの構成テクニックについて、アプリケーション例を元に学習する。

本講義の後半では、共有メモリを実現する技術を中心に、様 々な並列アーキテクチャと高性能化技術について解説す る。並列アーキテクチャでは、全体性能に大きな影響を 及ぼすネットワークとメモリの構成方式、およびそのレ イテンシの削減方法、隠蔽方法を学ぶ。並列プログラム 実行時のふるまいに基づいて、どのような点について考 慮すべきかを明らかにする。また、大規模化の際の問題 点と設計法について学ぶ。

前半

1. Introduction to Parallel Computing

並列分散処理の入門に関する基本的事項を解説する

2. Trends in Microprocessor Architecture

並列分散処理を意識した近年のプロセッサアーキテクチャについて概説する

3. Memory architecture in Parallel Machines

並列分散処理に向けたメモリアーキテクチャについて概説する

4. Communications in Parallel Machines

並列分散処理システムにおけるネットワークアーキテクチャについて概説する

5. Parallel Algorithm Design

並列分散処理におけるアルゴリズムの設計のコンセプトについて概説する

後半

1. Components of a Parallel Architecture

並列システムの構成について解説する

2. Performance

並列システムの性能、スケーラビリティの考え方について解説する

3. Memory Hierarchies

メモリシステムの階層について概説する

4. Parallel Programming Model

並列プログラミングにおける様々なモデルについて解説する

5. Scalable Shared-Memory Systems

メモリモデルやコヒーレンシ維持について解説する

Ananth Grama,‎ George Karypis,‎ Vipin Kumar,‎ Anshul Gupta, Introduction to Parallel Computing, Addison Wesley.

Michel Dubois,‎ Murali Annavaram,and‎ Per Stenström, Parallel Computer Organization and Design, Cambridge University Press.