Как использовать VK_KHR_cooperative_matrix в Vulkan

Example: VulkanExamples/p78_coopmat

VK_KHR_cooperative_matrix — операция формы тензорного ядра в Vulkan: coopmat — матрица, распределённая по целой subgroup — ни одна полоса её не владеет, coopMatLoad/coopMatStore её рассеивают/собирают, и coopMatMulAdd(A, B, C) вычисляет A*B + C как одну коллективную операцию.

example.txt
#extension GL_KHR_cooperative_matrix : require
#extension GL_KHR_memory_scope_semantics : require

coopmat<int8_t,  gl_ScopeSubgroup, 16, 16, gl_MatrixUseA> A;
coopmat<int8_t,  gl_ScopeSubgroup, 16, 16, gl_MatrixUseB> B;
coopmat<int32_t, gl_ScopeSubgroup, 16, 16, gl_MatrixUseAccumulator> C;
coopMatLoad(A, a, 0, 16, gl_CooperativeMatrixLayoutRowMajor);
C = coopMatMulAdd(A, B, C);
coopMatStore(C, c, 0, 16, gl_CooperativeMatrixLayoutRowMajor);

Поддерживаемые формы — аппаратный запрос — vkGetPhysicalDeviceCooperativeMatrixPropertiesKHR — и на NAVI32/RADV ровно 14 записей, все 16×16×16 при VK_SCOPE_SUBGROUP, с входами uint8/sint8/float16 и аккумуляторами uint32/sint32/f32. Демка выбирает s8 × s8 → s32: целочисленная арифметика, так что 16×16 matmul-add верифицируется бит-точно против CPU, bad=0.

Практические заметки:

  • Workgroup должен эффективно быть cooperating-скоупом — используйте local_size_x_id, питаемый subgroupSize (64 на RADV wave64).
  • Константа layout’а — gl_CooperativeMatrixLayoutRowMajor, а не gl_MatrixLayoutRowMajor; короткое имя не существует.
  • int8_t/int32_t в SSBO требуют GL_EXT_shader_8bit_storage + GL_EXT_shader_explicit_arithmetic_types_int8/int32 плюс соответствующие биты фич Vulkan (storageBuffer8BitAccess, shaderInt8).
  • Вся суть против по-полосного подхода: заполнение матрицы скрыто — драйвер отображает её на WMMA/dot-product железо без вашей заботы, какая полоса держит какой элемент.

Весь исходный код этой серии опубликован под CC0 1.0 Universal (CC0-1.0).


Check out similar posts by category: C++ Vulkan