cuDNN Library 與本章總結

重點總覽 (Overview)

cuDNN 函式庫概觀 (cuDNN Library Overview)

• 定位:a library of optimized routines for deep learning primitives,目的是讓 deep learning frameworks 更容易吃到 GPU 效能。
• API:flexible、easy-to-use 的 C-language API,可整潔地嵌入既有框架。
• 資料常駐:要求 input 與 output data 都已在 GPU device memory(與 cuBLAS 一致;呼叫前要先把資料搬上 device)。
• thread-safe:routines 可從多個 host threads 並行呼叫。
• descriptor 模型:
  • convolution 的 forward 與 backward path 共用一個 descriptor,封裝該層的所有屬性(attributes)。
  • tensor 與 filter 透過 opaque descriptors 存取 → 可用任意 stride 指定各維度 layout(不綁死 row-major)。

Batched Convolution 與參數 (Tensor / Filter Descriptors & Parameters)

cuDNN 最重要的 computational primitive 是一種 batched convolution(一次處理整個 minibatch)。注意 cuDNN 命名與前幾節略有不同。

三個 4D tensor:

D : N × C × H × W   (input data)            ── 每 sample 有 C 個 H×W 輸入圖
F : K × C × R × S   (convolution filters)   ── K 個 output 各對 C 個 input 用 R×S filter
O : N × K × P × Q   (output)                ── 每 sample 有 K 個 P×Q 輸出圖

        D[N,C,H,W]            F[K,C,R,S]                 O[N,K,P,Q]
   ┌───────────────┐     ┌────────────────┐        ┌───────────────┐
   │ sample n      │     │ filterbank K×C │   ===> │ sample n      │
   │  ┌──┐ C 個    │  ⊛  │  R×S each      │        │  ┌──┐ K 個    │
   │  │HW│ input   │     │                │        │  │PQ│ output  │
   │  └──┘ maps    │     └────────────────┘        │  └──┘ maps    │
   └───────────────┘                               └───────────────┘
   P = f(H, R, u, pad_h)      Q = f(W, S, v, pad_w)

• stride (u, v):只計算 output pixels 的一個子集 → 直接降低 computational load。
• padding (pad_h, pad_w):在每個 feature map 邊緣補 0 列/行 → 改善 memory alignment 與 vectorized execution(也順帶處理 ghost cells)。

演算法選擇:GEMM / Winograd / FFT (Algorithm Selection)

cuDNN 同一個 convolutional layer 支援多種底層演算法,可依層的形狀挑選最快者(algorithm-selection)。

Lazy On-Chip Materialization (惰性晶片上展開)

這是 cuDNN GEMM 路徑相對於樸素 im2col 的關鍵改良。

樸素 im2col 的兩大缺點(回顧 16.4 節):

1. X_unroll 在 off-chip global memory 物化 → 佔用龐大空間(膨脹最多 R×S 倍)。
2. X_unroll 必須先寫後讀,外加讀原始 X → memory traffic 暴增,降低 computational intensity。

cuDNN 的做法:不在 off-chip 先 gather 整個 X_unroll,而是把展開後的小塊只 lazily 載入 on-chip memory,邊算邊生成。

傳統 im2col + GEMM:
   X(global) ──im2col──► X_unroll(global, 大!) ──讀──► GEMM ──► O
                         ▲ 多一份寫+讀的 DRAM 流量

cuDNN lazy materialization:
   X(global) ─────────────────────────────────────► O
                 └─ tile 邊載入 on-chip 邊即時 unroll ─┘
                    (X_unroll 從不落地 global memory)

底層矩陣乘法 routine(類 Tan et al., 2011)的 tiling 流水線:

 A,B 的固定大小 submatrix(tile)輪流載入 on-chip
 ┌────────── 時間軸 ──────────────────────────────►
 compute  : [ tile k   ][ tile k+1 ][ tile k+2 ] ...   ← 只受算術時間限制
 fetch    :    [ tile k+1 ][ tile k+2 ][ tile k+3 ]    ← 預取下一塊
            └ 計算與 DRAM 取資料重疊 → 隱藏 memory latency

• 把 A、B 的 fixed-size submatrices 連續讀入 on-chip,算出 C 的一塊 submatrix。
• 一邊算當前 tile,一邊從 off-chip 預取下一組 tile → 隱藏 memory latency,使計算只受算術運算時間限制(逼近 FP 理論峰值)。

Arithmetic intensity 視角:matmul 在 GPU 上特別快,因為 FLOP / byte 比值高,且矩陣越大比值越高;cuDNN 避免把 X_unroll 落地,正是為了不要稀釋這個比值。參見 arithmetic intensity / roofline。

本章總結 (Chapter Summary)

本章 (Ch.16) 的整體脈絡,把四篇 sibling notes 串起來:

• convolutional layer 是 CNN 中最 compute-intensive 的一層,因此是 GPU 加速的主戰場。
• 各層(conv / pooling / FC)都可看成 perceptron 的特例或簡單變形。
• conv layer 可建立在 第 7 章 convolution pattern 之上,再用 constant memory + shared-memory tiling 優化(留作習題)。
• 把 conv 化為 matrix multiplication 可借力高度優化的 GEMM 函式庫。
• 最終,大多數框架直接使用 cuDNN,使用者享受優化過的層實作而無需自行撰寫 CUDA kernels。

考試/面試重點 (Exam / Test Patterns)

Related Notes

• 16-Deep-Learning/03-GPU-Convolutional-Layer-CUDA-Kernel-and-GEMM
• 16-Deep-Learning/02-Convolutional-Neural-Networks-Layers
• 16-Deep-Learning/01-Machine-Learning-Foundations-Perceptrons-Backpropagation
• 03-Multidimensional-Grids-And-Data/04-Matrix-Multiplication-Kernel
• 05-Memory-Architecture-And-Data-Locality/02-Tiling-and-Tiled-Matrix-Multiplication
• 19-Parallel-Programming-And-Computational-Thinking/02-Algorithm-Selection-and-Tradeoffs