MPI Point-to-Point 通訊與資料分發 (MPI_Send / MPI_Recv)

重點總覽 (Overview)

本節聚焦 MPI 兩個最基本的 point-to-point 函式 MPI_Send / MPI_Recv，並以 3D 25-point stencil 的 data server → compute process 資料分發樣式，說明如何把 domain partition 連同 halo slices 一起送出，並區分 edge process 與 internal process。

MPI_Send / MPI_Recv 語法 (Point-to-Point Syntax)

// 6 個參數:來源端呼叫
int MPI_Send(void *buf, int count, MPI_Datatype datatype,
             int dest, int tag, MPI_Comm comm);

// 7 個參數:目的端呼叫 (多了 status)
int MPI_Recv(void *buf, int count, MPI_Datatype datatype,
             int source, int tag, MPI_Comm comm, MPI_Status *status);

MPI_Datatype 常見值 (定義於 mpi.h):MPI_DOUBLE、MPI_FLOAT、MPI_INT、MPI_CHAR。實際大小取決於 host 上對應 C type 的大小。

資料分發:Data Server 端 (Data Server Distribution)

data server 是 SPMD 中扮演 I/O 的 process (本例簡化成用亂數初始化再分發)。它沿 z 維把整個 grid 切成數個 domain partition,逐一 MPI_Send 給各 compute process,並附帶 halo slices。

void data_server(int dimx, int dimy, int dimz, int nreps) {
  int np;  MPI_Comm_size(MPI_COMM_WORLD, &np);
  unsigned int num_comp_nodes = np - 1, first_node = 0, last_node = np - 2;
  unsigned int num_points = dimx * dimy * dimz;
  float *input = (float*)malloc(num_points * sizeof(float)); /* + output */
  random_data(input, dimx, dimy, dimz, 1, 10);

  // 每側 4 個 halo slices → edge 多收 4 片,internal 多收 8 片
  int edge_num_points = dimx * dimy * ((dimz / num_comp_nodes) + 4);
  int int_num_points  = dimx * dimy * ((dimz / num_comp_nodes) + 8);
  float *send_address = input;

  // (1) 第一個 (edge) process:只需右側 halo
  MPI_Send(send_address, edge_num_points, MPI_FLOAT, first_node, 0, MPI_COMM_WORLD);
  send_address += dimx * dimy * ((dimz / num_comp_nodes) - 4);   // 退回 4 片納入左 halo

  // (2) internal processes:兩側 halo
  for (int process = 1; process < last_node; process++) {
    MPI_Send(send_address, int_num_points, MPI_FLOAT, process, 0, MPI_COMM_WORLD);
    send_address += dimx * dimy * (dimz / num_comp_nodes);       // 淨距 = 一個 partition
  }

  // (3) 最後一個 (edge) process:只需左側 halo
  MPI_Send(send_address, edge_num_points, MPI_FLOAT, last_node, 0, MPI_COMM_WORLD);
}

send_address 位移邏輯 (令 S = dimz / num_comp_nodes,一片 slice = dimx*dimy):

input 陣列 (沿 z 連續排列,P=4 個 compute node):
 slice→  0        S          2S         3S        4S(=dimz)
         |---D1---|----D2----|----D3----|----D4----|

P0 (edge) 送 (S+4) 片:  [====D1====|hh hh]            start = input
                         └ partition ┘ └右halo(取自D2前4片)

P1 (internal) 送 (S+8):  [hh hh|====D2====|hh hh]      start = input + (S-4)
                         └左halo┘└partition┘└右halo┘

P2 (internal) 送 (S+8):  [hh hh|====D3====|hh hh]      start = input + (2S-4)

P3 (edge) 送 (S+4):      [hh hh|====D4====]            start = input + (3S-4)
                         └左halo┘└partition┘

Edge vs Internal Process 與 Halo / Ghost Cells

• Halo cells:某 partition 邊界計算所需、來自鄰居 partition 的資料切片 (一個 partition 的 halo 同時是鄰居的 boundary)。
• Ghost cells:domain 最外緣、沒有真實鄰居的位置,如同 convolution 邊界,填 0 即可,不需透過網路送。

接收端:Compute Process 對齊 (Receiving & Buffer Alignment)

void compute_node_stencil(int dimx, int dimy, int dimz, int nreps) {
  int np, pid;
  MPI_Comm_rank(MPI_COMM_WORLD, &pid);
  MPI_Comm_size(MPI_COMM_WORLD, &np);
  int server_process = np - 1;                       // data server = 最大 rank

  unsigned int num_points     = dimx * dimy * (dimz + 8);   // 一律配滿尺寸 (含兩側 halo)
  unsigned int num_bytes      = num_points * sizeof(float);
  unsigned int num_halo_points= 4 * dimx * dimy;            // 4 片 = 一側 halo

  float *h_input = (float*)malloc(num_bytes);
  float *d_input = NULL;  cudaMalloc((void**)&d_input, num_bytes);

  // 關鍵:process 0 沒有左鄰居,接收時跳過前 4 片 (左 halo 槽位)
  float *rcv_address = h_input + ((0 == pid) ? num_halo_points : 0);
  MPI_Recv(rcv_address, num_points, MPI_FLOAT, server_process,
           MPI_ANY_TAG, MPI_COMM_WORLD, &status);
  cudaMemcpy(d_input, h_input, num_bytes, cudaMemcpyHostToDevice);
}

所有 compute process 的 host buffer 配置成相同格式:[左halo 4 | partition S | 右halo 4],簡化後續 kernel。差別只在邊界 process 哪一端槽位無效:

buffer 配置 (S+8 片):  [ 左halo |  partition (S) | 右halo ]
                          4 片        S 片          4 片

process 0 (edge,無左鄰): MPI_Recv 收 (S+4) 片,放到 +num_halo_points 處
                        [ 跳過4 | partition | 右halo ]   ← 前4片無效(當 ghost=0)

internal process:        MPI_Recv 收 (S+8) 片,從頭放
                        [ 左halo | partition | 右halo ]  ← 全部有效

process np-2 (edge,無右鄰): MPI_Recv 收 (S+4) 片,從頭放
                        [ 左halo | partition | 跳過4 ]   ← 後4片無效(當 ghost=0)

關鍵公式 / 比例 (Key Formulas)

令 P = num_comp_nodes = np - 1,S = dimz / P (每分區 z slice 數),一片 slice = dimx*dimy 元素。

考試/面試重點 (Exam / Test Patterns)

Related Notes

• 20-Heterogeneous-Computing-Cluster/01-MPI-Cluster-Background-and-Basics
• 20-Heterogeneous-Computing-Cluster/03-Overlapping-Computation-and-Communication
• 20-Heterogeneous-Computing-Cluster/04-Collective-Communication-and-CUDA-Aware-MPI
• 08-Stencil/01-Stencil-Background-and-Basic-Kernel
• 07-Convolution/03-Tiled-Convolution-and-Halo-Handling
• 02-Heterogeneous-Data-Parallel-Computing/02-Vector-Addition-Host-Code-Device-Memory-and-Data-Transfer