本書的整體目標與組織架構 (Goals & Book Organization)

重點總覽 (Overview)

本筆記涵蓋 PMPP 的三大整體目標 (overarching goals)、貫穿全書的計算思維 (computational thinking),以及全書四個部分 (Part I–IV)、Chapters 2–23 的組織架構與學習路徑。

三大整體目標 (Three Overarching Goals)

計算思維 (Computational Thinking)

• 定義:formulating and solving computational problems in ways amenable to high-performance execution(以利於平行高效執行的方式來重構與求解問題)。
• 本書不「為原則而教原則」,而是在平行化實用應用 (useful applications) 的脈絡中傳授 principles & patterns。
• 完整、系統化的討論留到 19-Parallel-Programming-And-Computational-Thinking/04-Computational-Thinking-and-Parallelization-Approaches。

全書四個部分 (Four-Part Organization)

                Programming Massively Parallel Processors (PMPP)
                                   │
   ┌───────────────┬──────────────┴───────────────┬──────────────────┐
   ▼               ▼                               ▼                  ▼
PART I          PART II                        PART III           PART IV
基礎概念        primitive patterns             進階 patterns       advanced
(Ch.2–6)        (Ch.7–12)                      + 應用 (Ch.13–19)   practices
                                                                  (Ch.20–22)
   │               │                               │                  │
 學會當           套用 Part I 知識,             把所有材料            邁向
 GPU 程式員       邊用邊引入新架構特性          整合到真實應用        專家

                    ┌──────────────────────────────────────┐
                    │  Ch.23 Conclusion & Outlook (目標回顧) │
                    └──────────────────────────────────────┘

Part I — 基礎概念 (Fundamental Concepts, Ch.2–6)

Ch.2 的 CUDA 平行化六步驟(以 vector addition 示範):

// (1) 找出可平行化的部分;(2) 隔離資料 + 在 device 配置記憶體
cudaMalloc((void**)&d_A, size);            // device global memory
cudaMalloc((void**)&d_B, size);
cudaMalloc((void**)&d_C, size);
// (3) 把資料傳到 device
cudaMemcpy(d_A, h_A, size, cudaMemcpyHostToDevice);
cudaMemcpy(d_B, h_B, size, cudaMemcpyHostToDevice);
// (4) 把平行部分寫成 kernel function
//     __global__ void vecAddKernel(float* A, float* B, float* C, int n){ ... }
// (5) 啟動 kernel 交由平行 threads 執行
vecAddKernel<<<ceil(n/256.0), 256>>>(d_A, d_B, d_C, n);
// (6) 把結果傳回 host
cudaMemcpy(h_C, d_C, size, cudaMemcpyDeviceToHost);

Part II — Primitive Parallel Patterns (Ch.7–12)

Part III — 進階 Patterns 與應用 (Advanced Patterns & Applications, Ch.13–19)

Part IV — Advanced Practices (Ch.20–22) 與結語

考試/面試重點 (Exam / Test Patterns)

Related Notes

• 01-Introduction/01-Heterogeneous-Parallel-Computing-and-the-Demand-for-Speed
• 01-Introduction/02-Speedup-Challenges-and-Related-Interfaces
• 04-Compute-Architecture-And-Scheduling/01-GPU-Architecture-and-Block-Scheduling
• 19-Parallel-Programming-And-Computational-Thinking/04-Computational-Thinking-and-Parallelization-Approaches
• 23-Conclusion-And-Outlook/01-Goals-Revisited
• 23-Conclusion-And-Outlook/02-Future-Outlook