Пост 57. Пост 49 імпортував 8-бітний H.264 як площини NV12. Більшість сучасних IP-камер і HDR-контент постачають натомість HEVC Main10 — 10-бітну люму/хрому, запаковану як P010. Хороша новина: пайплайн ідентичний, змінюються лише формати шарів DRM і формати Vulkan.
$ ./app --headless out.ppm
decoded 15 frames, 1280x720 hw=vaapi sw=p010le
layer0 fmt=R16 planes=1: off=0 pitch=2560
layer1 fmt=GR32 planes=1: off=1966080 pitch=2560
surface is P010 (10-bit) -> R16 + R16G16
wrote out.ppm
Example: VulkanExamples/p57_hevc
Що насправді змінюється проти 8-біт
VA-API експортує один шар DRM на логічну площину (не один багатоплощинний шар, як Mesa/GBM). Fourcc шару каже вам бітову глибину:
sw_format | layer0 (люма) | layer1 (UV) | формати VkImage |
|---|---|---|---|
nv12 (8-bit) | DRM_FORMAT_R8 | DRM_FORMAT_GR88 | R8Unorm + R8G8Unorm |
p010le (10-bit) | DRM_FORMAT_R16 | DRM_FORMAT_GR1616 | R16Unorm + R16G16Unorm |
P010 зберігає кожен 10-бітний семпл MSB-вирівняним у 16 бітах
(біти 15..6). Імпорт як R16Unorm автоматично нормалізує до
[0,1] — шейдер взагалі не змінюється:
float Y = texture(texY, vUV).r; // R16_UNORM, already [0,1]
vec2 UV = texture(texUV, vUV).rg; // R16G16_UNORM
vec3 yuv = vec3(Y, UV.x, UV.y) - vec3(0.0625, 0.5, 0.5);
vec3 rgb = clamp(mat3( 1.164, 1.164, 1.164,
0.000, -0.392, 2.017,
1.596, -0.813, 0.000) * yuv, 0.0, 1.0);Зверніть увагу: зображення хроми все ще W/2 × H/2 — але кожен
тексель тепер 4 байти (R16G16), тож pitch подвоюється проти NV12
навіть при тих самих піксельних розмірах.
Автовизначення з дескриптора
auto* fctx = reinterpret_cast<AVHWFramesContext*>(
frame->hw_frames_ctx->data);
// fctx->sw_format == AV_PIX_FMT_P010 or AV_PIX_FMT_NV12
// or straight from the DRM descriptor:
const bool is10 = desc->layers[0].format == DRM_FORMAT_R16;
const vk::Format fmtY = is10 ? vk::Format::eR16Unorm
: vk::Format::eR8Unorm;
const vk::Format fmtUV = is10 ? vk::Format::eR16G16Unorm
: vk::Format::eR8G8Unorm;frame->hw_frames_ctx (AVHWFramesContext*) відкриває sw_format —
реальну розкладку поверхні — на версіях FFmpeg, де сам AVFrame
її не несе.
Тестовий кліп
ffmpeg -f lavfi -i "testsrc2=size=1280x720:rate=30" -t 0.5 \
-c:v libx265 -pix_fmt yuv420p10le -preset medium -crf 22 \
-x265-params keyint=15 -f hevc test.h265Пастки, що ще діють з поста 49
mapped->format = AV_PIX_FMT_DRM_PRIMEпередav_hwframe_map.arrayPitch/depthPitchмають бути розміром площини, не нулем.- Алокуйте
max(req.size, offset + planeSize)— площина UV сидить на ненульовому зсуві всередині dma-buf. - Не вимагайте
eDeviceLocal— пам’ять dma-buf може бути host-visible GTT. - Той самий GPU: вузол рендеру VA-API (
/dev/dri/renderD12x) має належати фізичному пристрою, який обрав Vulkan. Модифікатор між вендорами імпортується мовчки і семплує сміття. - Modifier-тайльовані зображення: лише лейаут
eGeneral(абоePresentSrcKHR).
Коли немає VA-API
10-бітне програмне декодування — yuv420p10le/p010le — LSB- vs
MSB-вирівняне відповідно. Завантаження p010le через staging-буфер
на зображення R16Unorm/R16G16Unorm працює з тим самим шейдером;
відрізняється лише цикл копіювання джерела. Це шлях елегантної
деградації, який хоче стіна камер: попередити раз, продовжувати
рендерити.