Example: VulkanExamples/p78_coopmat
VK_KHR_cooperative_matrix — операция формы тензорного ядра в Vulkan:
coopmat — матрица, распределённая по целой subgroup — ни одна
полоса её не владеет, coopMatLoad/coopMatStore её рассеивают/собирают, и
coopMatMulAdd(A, B, C) вычисляет A*B + C как одну коллективную операцию.
#extension GL_KHR_cooperative_matrix : require
#extension GL_KHR_memory_scope_semantics : require
coopmat<int8_t, gl_ScopeSubgroup, 16, 16, gl_MatrixUseA> A;
coopmat<int8_t, gl_ScopeSubgroup, 16, 16, gl_MatrixUseB> B;
coopmat<int32_t, gl_ScopeSubgroup, 16, 16, gl_MatrixUseAccumulator> C;
coopMatLoad(A, a, 0, 16, gl_CooperativeMatrixLayoutRowMajor);
C = coopMatMulAdd(A, B, C);
coopMatStore(C, c, 0, 16, gl_CooperativeMatrixLayoutRowMajor);Поддерживаемые формы — аппаратный запрос —
vkGetPhysicalDeviceCooperativeMatrixPropertiesKHR — и на
NAVI32/RADV ровно 14 записей, все 16×16×16 при
VK_SCOPE_SUBGROUP, с входами uint8/sint8/float16 и
аккумуляторами uint32/sint32/f32. Демка выбирает s8 × s8 → s32: целочисленная
арифметика, так что 16×16 matmul-add верифицируется бит-точно против
CPU, bad=0.
Практические заметки:
- Workgroup должен эффективно быть cooperating-скоупом — используйте
local_size_x_id, питаемыйsubgroupSize(64 на RADV wave64). - Константа layout’а —
gl_CooperativeMatrixLayoutRowMajor, а неgl_MatrixLayoutRowMajor; короткое имя не существует. int8_t/int32_tв SSBO требуютGL_EXT_shader_8bit_storage+GL_EXT_shader_explicit_arithmetic_types_int8/int32плюс соответствующие биты фич Vulkan (storageBuffer8BitAccess,shaderInt8).- Вся суть против по-полосного подхода: заполнение матрицы скрыто — драйвер отображает её на WMMA/dot-product железо без вашей заботы, какая полоса держит какой элемент.
Весь исходный код этой серии опубликован под CC0 1.0 Universal (CC0-1.0).