Многие из нас снимали видео - хотя бы на смартфон, но далеко не все задумывались, от какого большого количество факторов зависит качество регистрируемого изображения. Зависит же оно не только от размеров матрицы и разрешения, но и от того, что сами камеры привносят «шумы», искажающие результаты видеорегистрации. Недавно в высокорейтинговом международном журнале IEEE Sensors Journal была опубликована статья группы сотрудников лаборатории фотоники и оптической обработки информации НИЯУ МИФИ, в которой представлен обзор эффективных методов оценки шумов цифровых камер. О сути этой актуальной проблемы и методах борьбы с ней мы беседуем с одним из авторов статьи, доцентом кафедры лазерной физики НИЯУ МИФИ Павлом Черёмхиным.
Павел Аркадьевич, могли бы вы объяснить популярно – в чем суть «проблемы шума» в видеокамерах?
Современные оптико-цифровые системы применяются практически везде, любая область науки и техники связана с цифровой регистрацией изображений. Поэтому цифровая камера является неотъемлемым элементом множества систем. Наличие шумов – один из главных ограничителей качества получаемой информации. Причём, если информация о стандартных характеристиках видеокамер – количестве пикселей, размере пикселя, кадровой частоте – почти всегда предоставляется производителями камер, то уровень их «зашумлённости» раскрывается нечасто, а для некоторых типов камер вообще не предоставляются. Между тем, чтобы оценить, насколько получаемая от видеокамеры информация подходит для вашей задачи с точки зрения её достоверности и качества, необходимо знать величины шумовых характеристик камеры.
Шумы особенно сильны в ситуации слабого освещения, когда мы регистрируем объекты в ночное время или при использовании источников невидимого света – например, инфракрасного излучения. Знать уровень шума важно в случае, если мы снимаем быстропротекающие процессы, когда нам нужно проводить регистрацию с высокой скоростью и время экспозиции очень мало. И есть много других ситуаций, в которых шумы достигают десятков процентов от величины сигнала – а это очень много.
Соответственно, чтобы повысить и качество снимков, и качество детектирования объектов необходимо анализировать шумы и желательно уметь оперативно их измерять.
Какие главные источники шумов?
Существует несколько типов шума. Как известно свет – это поток фотонов, и количество фотонов за любой временной промежуток различно. За одну секунду при использовании одного и того же источника света при одних и тех же условиях на камеру может попасть, например, 5000 фотонов в каждый пиксель, а может 5050 фотонов, а может 4900 фотонов. Так возникает одна из главных причин шума – световой временной шум, или как его называют обычно, фотонный дробовой шум, потому что фотоны ведут себя как дробинки.
Другой основной источник шума – это световой пространственный шум. Так как невозможно сделать, чтобы все пиксели камеры имели абсолютно одинаковые характеристики, то их параметры будут отличаться – обычно на единицы процентов. У камер есть такой параметр как неоднородность фоточувствительности, то есть неоднородность отклика разных пикселей на излучение одной и той же интенсивности. Это второй источник шума. И оба эти основные шумовые составляющие – световой временной и световой пространственной – необходимо измерить.
Помимо этого, есть еще и темновые составляющие, которые присутствуют даже в случае, если внешнего светового излучения нет. При регистрации в очень тёмных условиях эти шумы могут быть основными, то есть превалирующими над световыми. Их тоже нужно измерить, и они делятся также на временные и пространственные. Это случайные колебания регистрируемого света, свойственные для конкретного сенсора конкретной марки конкретно производителя. Вот все четыре типа шумов: световые и темновые, временные и пространственные – измеряются методами, которые рассмотрены в нашей статье.
Павел Черемхин
И в чем суть этих методов?
Наиболее интересными и перспективными являются измерения и оценка шумов на основе сегментации сцен. Сценой могут являться не только видимые объекты, ей может быть даже равномерное излучение, например, съемка безоблачного неба – это равномерная сцена. Другой пример – регистрация неравномерной сцены, когда в пределах кадра у нас есть и яркие элементы, и, наоборот, очень тёмные. Есть полосовые сцены, которые состоят из ряда полос: одна полоса, например, светлая, другая более темная, третья ещё темнее. Для каждой из этих сцен разрабатывается свой алгоритм расчёта величины шума. Создаётся несколько кадров этой сцены, дальше в сцене выделяются области, соответствующие разным уровням сигнала, то есть производится её сегментация. И на основе того, насколько сильно менялся сигнал в пикселе относительно другого пикселя, мы можем судить о величине шума. Далее можно строить зависимости уровня сигнала от уровня светового шума и получить величины темнового шума - шума при темновом уровне сигнала. Причём, из существующих в мире методов измерения шума на основе сегментации наиболее точный был предложен в НИЯУ МИФИ в нашей лаборатории.
Являются ли измерения уровня шумов шагом к тому, чтобы как-то компенсировать эти шумы?
Да, это один из следующих шагов, который нами в НИЯУ МИФИ уже частично реализован. Это исследование было проведено при поддержке гранта РНФ. Так как мы хотим использовать данные шумовые характеристики, то вначале мы их измеряем на основе методов автоматической сегментации; эти измерения занимают очень короткое время. Буквально за пару кадров мы оцениваем с достаточно высокой точностью шумовые параметры, и дальше каждый из четырёх типов шумов считается как отдельный параметр и затем вносится в алгоритм шумоподавления. Регистрируемый сигнал каждым пикселем считается суммой интенсивности света без шумов и каждого типа шума. Исходя из этого мы можем получить наиболее вероятные величины уровня суммарного шума, который был в данном пикселе, и попытаться его компенсировать.
Как я могу предположить, компенсация шумов происходит уже в фазе компьютерной обработки полученных от сенсора данных.
Да. Сначала мы за короткий срок регистрируем какую-то сцену, получаем уровни шумов и дальше можем в программной среде компенсировать шум попиксельно. Можно встроить компенсацию шумов и как стадию получения снимка в самой цифровой камере.
В лаборатории фотоники и оптической обработки информации НИЯУ МИФИ
Для каких прикладных областей особенно актуальна проблема шумоподавления?
Вообще она актуальна для большинства видов цифровой видеорегистрации, даже любительской, но особенно она важна в сложных случаях, то есть когда сигнал достаточно мал, из-за чего отношение сигнала к шуму оказывается достаточно небольшим. Другие примеры - это случаи регистрации за короткие интервалы времени при малом времени экспозиции, что важно, например, для отслеживания параметров микрообъектов. Задача актуальна и при съёмках в тёмное время, а это практически треть суток, когда вклад шумов в сигнал значительно больше. Для того, чтобы и в этот время можно было намного успешнее производить регистрацию, такие методы очень полезны и чрезвычайно востребованы.
Скажите, а не может ли быть смешение шума с каким-то реальным дробным изменением, которое происходит с объектом? Допустим, мы наблюдаем звезду в телескоп. Ведь нам интересны все изменения, которые с ней происходят! Не можем ли мы принять за шум реальные изменения, которые происходят с звездой?
Это одна из главных задач, которую мы пытались решить, и об этом написано в данной статье. Обычные методы, которые используются для борьбы с шумами, находят неоднородности и шумы только самого изображения, а не цифровой камеры. Соответственно, такие методы менее пригодны для того, чтобы отслеживать мелкие элементы и объекта и не смешивать неоднородности объекта с шумом от камеры. Но методы, которые были предложены нашей лабораторией, позволяют выделить именно шум камеры и подавлять именно его. До последних лет на эту проблему не так сильно обращали внимание, но сейчас, с развитием скоростей регистрации и необходимости очень быстрого отслеживания объектов, это стало особенно актуально.
Видите ли вы какие-то пути дальнейшего прикладного использования разработанных вами методов?
Эти методы уже используются для некоторых задач, в частности для слежения за микрообъектами. Так как результатом методов является набор цифровых данных, то пост-обработку на их основе можно добавить как часть решения прикладной задачи. Достаточно только снять нескольких кадров цифровой камерой, а дальше их обработкой займется компьютерная программа, которую может использовать любой человек, просто загружая снимки в эту программу. Разработанные методы хороши именно тем, что сразу же позволяют улучшать качество изображений, причём по результатам съёмки всего нескольких кадров.
