Resource Partitioning、Occupancy 與 Device Properties 查詢

重點總覽 (Overview)

資源分割 (Resource Partitioning) 與 Occupancy 定義

Occupancy 是衡量 SM 被「填滿」程度的比值：

occupancy = (warps assigned to SM) / (max warps supported by SM)
          = (threads assigned to SM) / (max threads supported by SM)

SM 內可被分割的執行資源 (execution resources)：

• Registers (暫存器)
• Shared memory (見 05-Memory-Architecture-And-Data-Locality/01-Memory-Access-Efficiency-and-CUDA-Memory-Types)
• Thread block slots (一個 SM 能同時容納的 block 數)
• Thread slots (一個 SM 能同時容納的 thread 數)

A100 在不同 block size 下如何切 2048 個 thread slots：

Occupancy 的兩種隱性陷阱 (Subtle Interactions)

陷阱 1：block slot 上限 (block 太小)

想填滿 2048 threads 需要：2048 / 32 = 64 blocks
但 A100 只有 32 block slots
→ 只能放 32 blocks × 32 threads = 1024 threads
→ occupancy = 1024 / 2048 = 50%

陷阱 2：thread-slot 不整除 (block size 無法整除 max threads/SM)

block size = 768：
2048 / 768 = 2.67 → 只能放 2 blocks = 1536 threads
剩 512 slot 閒置 (block 上限、thread 上限都沒到)
→ occupancy = 1536 / 2048 = 75%

SM thread slots (max 2048)
┌──────────┬──────────┬──────────┐
│ block0   │ block1   │  XXXXXX  │
│  768     │  768     │  512 idle│
└──────────┴──────────┴──────────┘

Register 限制與 Performance Cliff

每 thread 用越多 register，SM 能同時容納的 thread 就越少：

為達 full occupancy，每 thread 可用 register 上限：
regs_per_thread ≤ (registers per SM) / (max threads per SM)
              = 65,536 / 2048 = 32 registers/thread

若 kernel 用 64 regs/thread：
max threads = 65,536 / 64 = 1024 → occupancy ≤ 1024/2048 = 50%

Performance cliff 經典範例

查詢裝置屬性 (Querying Device Properties)

裝置可用資源量由 compute capability 決定 (越高通常資源越多；A100 = 8.0)。Host code 可在 runtime 查詢，以便同一程式在不同硬體上自適應。

// 1) 取得可用 CUDA device 數量
int devCount;
cudaGetDeviceCount(&devCount);

// 2) 逐一查詢各 device 屬性，挑選資源足夠者
cudaDeviceProp devProp;
for (unsigned int i = 0; i < devCount; i++) {
    cudaGetDeviceProperties(&devProp, i);
    // 依 devProp 各欄位決定此 device 是否合適
}

cudaDeviceProp 重要欄位

本章總結 (Chapter Summary)

• GPU 由多個 SM 組成，SM 內含多個 processing block 的 cores，共享控制邏輯與記憶體資源。
• Grid 的 blocks 以任意順序 assign 到 SM → 帶來 transparent scalability；代價是不同 block 的 thread 無法互相同步 (見 04-Compute-Architecture-And-Scheduling/01-GPU-Architecture-and-Block-Scheduling)。
• Thread 以 block 為單位 assign 到 SM，再切成 warps 依 SIMD model 執行；warp 內路徑分歧 → control divergence 多趟執行 (見 04-Compute-Architecture-And-Scheduling/02-Warps-SIMD-and-Control-Divergence)。
• SM 上的 warp 數常遠多於可同時執行者 → 用其他 warp 填補 long-latency 等待 → latency tolerance。
• Occupancy = assigned threads / max threads；越高越能隱藏延遲，但受 block slot、thread slot 整除性、register、shared memory 等多重資源交互限制。
• 各裝置資源上限不同，CUDA C 提供 runtime query (cudaDeviceProp) 讓程式自適應硬體。

考試/面試重點 (Exam / Test Patterns)

Related Notes

• 04-Compute-Architecture-And-Scheduling/01-GPU-Architecture-and-Block-Scheduling
• 04-Compute-Architecture-And-Scheduling/02-Warps-SIMD-and-Control-Divergence
• 05-Memory-Architecture-And-Data-Locality/03-Boundary-Checks-and-Memory-Occupancy
• 06-Performance-Considerations/02-Hiding-Memory-Latency
• 06-Performance-Considerations/04-Optimization-Checklist-and-Bottlenecks
• 17-Iterative-MRI-Reconstruction/03-FHD-Memory-Bandwidth-Optimization