Як декодувати HEVC Main10 з FFmpeg VA-API і імпортувати кадри у Vulkan без копіювання

Пост 57. Пост 49 імпортував 8-бітний H.264 як площини NV12. Більшість сучасних IP-камер і HDR-контент постачають натомість HEVC Main10 — 10-бітну люму/хрому, запаковану як P010. Хороша новина: пайплайн ідентичний, змінюються лише формати шарів DRM і формати Vulkan.

example.sh
$ ./app --headless out.ppm
decoded 15 frames, 1280x720 hw=vaapi sw=p010le
layer0 fmt=R16  planes=1: off=0 pitch=2560
layer1 fmt=GR32 planes=1: off=1966080 pitch=2560
surface is P010 (10-bit) -> R16 + R16G16
wrote out.ppm

Example: VulkanExamples/p57_hevc

Що насправді змінюється проти 8-біт

VA-API експортує один шар DRM на логічну площину (не один багатоплощинний шар, як Mesa/GBM). Fourcc шару каже вам бітову глибину:

sw_formatlayer0 (люма)layer1 (UV)формати VkImage
nv12 (8-bit)DRM_FORMAT_R8DRM_FORMAT_GR88R8Unorm + R8G8Unorm
p010le (10-bit)DRM_FORMAT_R16DRM_FORMAT_GR1616R16Unorm + R16G16Unorm

P010 зберігає кожен 10-бітний семпл MSB-вирівняним у 16 бітах (біти 15..6). Імпорт як R16Unorm автоматично нормалізує до [0,1] — шейдер взагалі не змінюється:

example.txt
float Y = texture(texY, vUV).r;          // R16_UNORM, already [0,1]
vec2  UV = texture(texUV, vUV).rg;       // R16G16_UNORM
vec3 yuv = vec3(Y, UV.x, UV.y) - vec3(0.0625, 0.5, 0.5);
vec3 rgb = clamp(mat3( 1.164,  1.164,  1.164,
                       0.000, -0.392,  2.017,
                       1.596, -0.813,  0.000) * yuv, 0.0, 1.0);

Зверніть увагу: зображення хроми все ще W/2 × H/2 — але кожен тексель тепер 4 байти (R16G16), тож pitch подвоюється проти NV12 навіть при тих самих піксельних розмірах.

Автовизначення з дескриптора

main.cpp (format select)
auto* fctx = reinterpret_cast<AVHWFramesContext*>(
    frame->hw_frames_ctx->data);
// fctx->sw_format == AV_PIX_FMT_P010 or AV_PIX_FMT_NV12

// or straight from the DRM descriptor:
const bool is10 = desc->layers[0].format == DRM_FORMAT_R16;
const vk::Format fmtY  = is10 ? vk::Format::eR16Unorm
                              : vk::Format::eR8Unorm;
const vk::Format fmtUV = is10 ? vk::Format::eR16G16Unorm
                              : vk::Format::eR8G8Unorm;

frame->hw_frames_ctx (AVHWFramesContext*) відкриває sw_format — реальну розкладку поверхні — на версіях FFmpeg, де сам AVFrame її не несе.

Тестовий кліп

example.sh
ffmpeg -f lavfi -i "testsrc2=size=1280x720:rate=30" -t 0.5 \
    -c:v libx265 -pix_fmt yuv420p10le -preset medium -crf 22 \
    -x265-params keyint=15 -f hevc test.h265

Пастки, що ще діють з поста 49

  • mapped->format = AV_PIX_FMT_DRM_PRIME перед av_hwframe_map.
  • arrayPitch/depthPitch мають бути розміром площини, не нулем.
  • Алокуйте max(req.size, offset + planeSize) — площина UV сидить на ненульовому зсуві всередині dma-buf.
  • Не вимагайте eDeviceLocal — пам’ять dma-buf може бути host-visible GTT.
  • Той самий GPU: вузол рендеру VA-API (/dev/dri/renderD12x) має належати фізичному пристрою, який обрав Vulkan. Модифікатор між вендорами імпортується мовчки і семплує сміття.
  • Modifier-тайльовані зображення: лише лейаут eGeneral (або ePresentSrcKHR).

Коли немає VA-API

10-бітне програмне декодування — yuv420p10le/p010le — LSB- vs MSB-вирівняне відповідно. Завантаження p010le через staging-буфер на зображення R16Unorm/R16G16Unorm працює з тим самим шейдером; відрізняється лише цикл копіювання джерела. Це шлях елегантної деградації, який хоче стіна камер: попередити раз, продовжувати рендерити.


Дивіться схожі статті за категоріями: C++ Vulkan