All-to-All
communication
Used in expert parallelism for token dispatch and combine
公式
FLOPs
0Bytes
2 * (N-1)/N * payload_bytes使用此算子的模型 (0)
尚无模型在算子拆解中引用此算子。
Used in expert parallelism for token dispatch and combine
02 * (N-1)/N * payload_bytes尚无模型在算子拆解中引用此算子。