OLPF в PTZ-камерах: что это такое, для чего нужно и когда действительно может понадобиться

Вы когда-нибудь замечали странные радужные узоры на костюме в тонкую полоску, мерцающие текстуры на светодиодной стене или мерцающие линии на фасадах зданий на, в остальном, четком видеоизображении? Эти отвлекающие артефакты, известные как муар, становятся все более распространенными, поскольку современные сенсоры камер размещают больше пикселей в ограниченном пространстве. Более высокое разрешение улучшает детализацию, но также делает камеры более подверженными визуальным искажениям, которых нет в реальной сцене. Именно здесь на помощь приходит оптический фильтр нижних частот (OLPF). Хотя некоторые потребительские камеры удаляют его для максимальной резкости, профессиональные вещательные и аудиовизуальные системы полагаются на OLPF для поддержания четкости без артефактов в высококачественных видеопроцессах. В этом руководстве мы рассмотрим, как работают OLPF, почему они важны и есть ли им место в современных видеопроцессах высокого разрешения.

Что такое OLPF?

Оптический фильтр нижних частот (также называемый фильтром сглаживания или AA-фильтром) — это оптический компонент, встроенный в корпус камеры между объективом и датчиком изображения. Его функция точно соответствует названию: отфильтровывает высокочастотную пространственную информацию из входящего света до того, как этот свет достигнет датчика, ограничивая данные изображения частотами, которые датчик действительно способен точно воспроизводить. Практический эффект заключается в небольшом, контролируемом смягчении изображения на оптическом уровне — незаметном как размытие при обычных условиях просмотра, но достаточном для предотвращения интерференционных картин, возникающих, когда мелкие детали сцены превышают возможности дискретизации датчика. В отличие от программной коррекции, применяемой на этапе постобработки, оптический фильтр нижних частот работает исключительно в физической области. Он не обрабатывает изображение после захвата. Он формирует свет до захвата — это единственная точка в конвейере обработки, где определенные категории артефактов изображения могут быть полностью предотвращены, а не просто уменьшены.

Проблема, которую решает оптический фильтр нижних частот: муар и ложные цвета

Чтобы понять, зачем существуют оптические фильтры нижних частот, полезно разобраться в том, что происходит при их отсутствии — в частности, что происходит на уровне сенсора, когда камера сталкивается с определенными типами визуальной информации.

Столкновение двух правильных сеток
 

Когда камера направлена ​​на объект, имеющий также правильную, повторяющуюся структуру — светодиодную стену, тканое полотно, оконную жалюзи, кирпичный фасад, снятый на расстоянии, — две сетки оказываются в одной оптической системе. Сетка датчика и структура объекта взаимодействуют. В зависимости от соотношения их соответствующих частот это взаимодействие создает интерференцию: третий рисунок, который не существует ни в датчике, ни в объекте, но возникает из их комбинации. Цифровой датчик изображения, на самом фундаментальном уровне, представляет собой сетку. Миллионы фотоэлементов расположены в точных, правильных рядах и столбцах, каждый из которых регистрирует падающий на него свет и преобразует его в числовое значение. Именно эта регулярность делает возможной цифровую съемку — и именно она создает проблемы для некоторых объектов.

 

Это явление не уникально для камер. Это фундаментальное свойство любой системы дискретизации, сталкивающейся с сигналом, который приближается к предельной частоте дискретизации или превышает её — соотношение, описываемое математически теоремой Найквиста-Шеннона. Теорема устанавливает точный порог: для точного восстановления сигнала частота дискретизации должна быть больше, чем удвоенная частота самой высокочастотной составляющей входящего сигнала. В терминах обработки изображений это означает, что частота дискретизации пикселей сенсора должна быть как минимум вдвое выше пространственной частоты мельчайших деталей сцены, чтобы эти детали были записаны без ошибок. Точка, в которой входящая пространственная частота достигает половины частоты дискретизации сенсора, известна как частота Найквиста — и она определяет границу, за которой точное воспроизведение становится невозможным.

Когда детализация сцены превышает этот порог, избыточная информация о пространственной частоте не просто исчезает. Она возвращается в изображение в виде искаженного низкочастотного сигнала — процесс, известный как алиасинг. В обработке изображений алиасинг является первопричиной как муаровых узоров, так и ложных цветов: сенсор не неисправен; Он точно записывает данные, для правильной интерпретации которых у него недостаточно разрешения.

Именно поэтому фильтр, предназначенный для предотвращения этого, носит такое название. Фильтр сглаживания — OLPF — вмешивается до того, как может возникнуть эффект наложения спектров, удаляя пространственные частоты, которые превысили бы предел Найквиста сенсора, прежде чем они достигнут фотоэлементной матрицы.

Муар: движущийся узор

Наиболее заметной формой этого артефакта является муар — волнообразный, часто переливающийся узор, который появляется на тонких правильных структурах в кадре. В фотографии муар — это помеха. В видео он значительно сильнее мешает.

Ложный цвет: артефакт, который вы туда не добавляли

Вторая категория артефактов, которые устраняют оптические фильтры нижних частот (OLPF), — это ложные цвета — хроматическая информация, которая присутствует в записанном изображении, но отсутствовала в исходной сцене.

Ложные цвета возникают в процессе дебайеризации. Большинство цифровых сенсоров используют массив цветовых фильтров Байера, в котором отдельные фотоэлементы покрыты красными, зелеными или синими фильтрами, расположенными по определенному шаблону. Ни один фотоэлемент не захватывает полную информацию о цвете — вместо этого процессор камеры интерполирует значения цвета для каждого пикселя, отбирая значения его соседей. Эта интерполяция работает надежно, когда пространственные частоты в сцене находятся в пределах разрешающей способности сенсора.

Когда это не так — когда мелкие детали превышают предел Найквиста — алгоритм интерполяции сталкивается с неоднозначными данными и выдает неверные цветовые назначения. В результате получаются пиксели со значениями цвета, которые не соответствуют ничему в реальной сцене: окантовка вдоль высококонтрастных краев, неожиданные цветовые полосы на тонких узорах или хроматический шум в областях, которые должны быть нейтральными. В отличие от муара, ложные цвета не всегда сразу заметны зрителю. Они, как правило, проявляются как тонкое, но устойчивое ухудшение точности цветопередачи в областях с мелкими деталями — проблема, которая становится очевидной при критическом анализе или на откалиброванном дисплее, но может остаться незамеченной на мониторе реального времени.

 

Почему видео более уязвимо, чем фотоснимки

Может показаться нелогичным, что видео — работающее с более низким разрешением, чем современные фотокамеры — более подвержено появлению этих артефактов. Объяснение кроется во взаимосвязи между разрешением и частотой дискретизации.

Кадр видео 4K содержит приблизительно 8 мегапикселей информации. Датчик современной фотокамеры обычно захватывает 24, 45 или даже 60 мегапикселей на кадр. При большем количестве пикселей частота дискретизации датчика увеличивается, повышая порог, при котором входящие пространственные частоты становятся проблематичными. Мелкие детали, которые вызвали бы муар на 8-мегапиксельном датчике, могут быть четко различимы на 45-мегапиксельном датчике, поскольку пиксельная сетка достаточно плотная для точной дискретизации.

Видеодатчики, работающие в разрешении 4K или даже 6K, находятся ближе к проблемному диапазону частот для гораздо более широкого круга реальных объектов. Порог возникновения артефактов ниже, диапазон объектов, которые могут их вызвать, шире, а характер движения в видео делает возникающие артефакты более заметными, чем их аналоги на неподвижных изображениях.

Именно поэтому оптические фильтры нижних частот (OLPF) оставались стандартом в профессиональных видеокамерах еще долго после того, как из потребительских фотокамер их начали удалять, и именно поэтому вопрос включения OLPF особенно важен в категории PTZ-камер, где в условиях съемок обычно используются объекты, наиболее склонные к возникновению муара и ложных цветов.

Как работает OLPF

Принцип работы оптического фильтра нижних частот (OLPF) прост: он уменьшает пространственную частоту входящего света до уровня, который датчик может измерить без ошибок. Метод, с помощью которого это достигается, оптический, а не электронный, что и делает его эффективным на этапе обработки изображений, где программное обеспечение не может вмешаться.

Основным компонентом большинства оптических фильтрующих элементов является двулучепреломляющий кристалл — материал, обладающий оптическим свойством расщеплять один луч падающего света на два отдельных компонента. Когда неполяризованный луч света входит в кристалл, он разделяется на два пучка, распространяющихся с немного разными скоростями и по немного разным путям: обыкновенный луч (O-луч), который распространяется в соответствии со стандартными принципами преломления независимо от ориентации кристалла, и необыкновенный луч (E-луч), скорость и направление распространения которого определяются оптической осью кристалла. Два луча выходят из кристалла, пространственно смещенные друг относительно друга на точное, контролируемое расстояние, определяемое толщиной и ориентацией кристалла.

В результате каждая точка изображения дублируется с субпиксельным разделением — один экземпляр переносится лучом O, другой — лучом E, — распределяя то, что в противном случае было бы одной концентрированной точкой высокочастотных деталей, по двум соседним фотоэлементам. Многослойные двулучепреломляющие кристаллы, обычно ориентированные под разными осями, расширяют это расщепление как в горизонтальном, так и в вертикальном направлениях, создавая контролируемое смягчение изображения, равномерное по всей плоскости сенсора.

Расстояние между элементами спроектировано таким образом, чтобы точно соответствовать шагу пикселя сенсора, так что расщепление происходит точно на той пространственной частоте, которая в противном случае привела бы к эффекту наложения спектров. Высокочастотные детали, превышающие предел Найквиста, эффективно усредняются по соседним фотоэлементам до того, как они смогут создать интерференционную картину — устраняя проблемные частоты на оптическом уровне, прежде чем сенсор их зарегистрирует.

Что это означает на практике

В результате этого процесса на сенсор поступает изображение с уже ограниченным диапазоном пространственных частот, соответствующим возможностям точного разрешения пиксельной матрицы. Муаровые узоры и ложные цвета не могут образоваться, поскольку частоты, которые могли бы их создать, были ослаблены до достижения фотоэлементной матрицы. Сенсор записывает чистый сигнал — не потому, что проблемные детали были исправлены, а потому, что он никогда не был представлен сенсору в форме, которая могла бы вызвать проблемы. Разделение каждой точки света между двумя фотоэлементами означает, что мельчайшие различимые детали изображения немного мягче, чем были бы без фильтра. ОФФ не может избирательно подавлять только те частоты, которые вызывают алиасинг, оставляя все остальные нетронутыми — смягчение применяется ко всему высокочастотному диапазону в целом. На практике этот компромисс является центральным противоречием в любом обсуждении конструкции ОФФ: какое ослабление высокочастотных частот необходимо для надежного предотвращения алиасинга и какую потерю резкости вносит этот уровень ослабления? Это вопрос, на который нет универсального ответа, поэтому следующий раздел посвящен именно ему.

Резкость против чистоты изображения

Каждый оптический фильтр нижних частот (OLPF) приводит к заметному снижению оптической резкости. Это не недостаток конструкции — это неотъемлемое следствие механизма разделения света, описанного в предыдущем разделе. Вопрос в том, является ли это снижение приемлемым компромиссом, учитывая условия производства, в которых будет работать камера.

Краткий ответ: это полностью зависит от того, на что будет направлена ​​камера.

В средах с высокочастотными узорами — светодиодные стены, текстурированные фоны, декорации с большим количеством экранов — отсутствие OLPF создает риск муара, который является видимым, повторяющимся и устойчивым к постобработке. В контролируемых средах с простым фоном та же камера без OLPF, вероятно, никогда не столкнется с условиями, которые вызовут эту проблему, и преимущество в резкости становится более важным фактором.

 

В таблице ниже показано, как эти компромиссы соотносятся с параметрами, наиболее важными в профессиональных системах PTZ

Почему PTZ-камеры особенно подвержены муару — и когда использование оптического фильтра нижних частот имеет значение

PTZ-камеры занимают особое место в сфере производства видео, что делает риск возникновения муара особенно актуальным. В отличие от кинокамер или ENG-камер, которые перемещаются с оператором в различных условиях, PTZ-камеры представляют собой стационарные установки — развертываются один раз, настраиваются один раз и должны надежно работать в течение каждой сессии в этом помещении, часто без присутствия оператора, который мог бы выявлять или компенсировать проблемы с артефактами в режиме реального времени. Обстановки, где чаще всего устанавливаются PTZ-камеры — храмы, корпоративные студии, гибридные конференц-залы, виртуальные съемочные площадки — имеют общую характеристику: они построены вокруг светодиодных дисплеев, фонов с большим количеством экранов и структурированных архитектурных деталей. Именно в таких условиях артефакты алиасинга возникают наиболее надежно и наиболее заметно. Вот почему оптический фильтр нижних частот (OLPF) перестал быть премиальной функцией и стал практической необходимостью в PTZ-камерах вещательного класса. Необходимость его использования в вашем конкретном случае сводится к одному вопросу: что находится за вашим объектом?

Настоятельно рекомендуется

• Светодиодные стены или светодиодные экраны, появляющиеся на заднем плане
• Храмы со сценическими декорациями или сложными архитектурными задниками
• Телевизионные студии, где ведущие регулярно носят одежду с мелкими узорами
• Пространства для корпоративных мероприятий с экранами или структурированными декоративными фонами
• Модные показы или контент, в котором текстура ткани часто присутствует в кадре