Сергей Свердлов (c_3_c) wrote,
Сергей Свердлов
c_3_c

Category:

Фотосъемка с дрона. Технология суперразрешения

Съемка с воздуха становится общедоступной. В начале 2018 года компания DJI выпустила необычайно привлекательную модель квадрокоптера DJI Mavic Air: очень компактный аппарат с камерой на гиростабилизированном трехосевом подвесе, способной снимать 4K-видео и 12Мп-фото. В последнее время, благодаря Youtube, видео стало очень популярно. И дрон в большой степени заточен именно на видео. По первым впечатлениям кино получается шикарное. Но меня видеосъемка не привлекает, да и навыков соответствующих нет. А вот фото...

Окрестности Кириллова. Кириллов на горизонте слева


Фото мне гораздо интересней. Но чудес, увы, не бывает. Камера Mavic Air имеет матрицу размером 1/2,3 дюйма. Это маленькая матрица, она в 5,3 раза меньше по размеру стандартного пленочного кадра, а по площади - в 28 раз. Поэтому даже при минимальной чувствительности на снимках виден цифровой шум.

DJI Mavic Air. Кто в теме, может заметить, что красная крышка не родная. С самого начала хотел купить красный дрон, чтобы его было проще искать в случае чего. Но красного у продавца не было. Купил черный и заменил крышку на фирменную, но купленную отдельно.



Использование DNG

Первое, что можно сделать для улучшения качества снимков - использовать формат DNG, а не JPG. В DNG сохраняется максимум информации с матрицы, есть возможность коррекции экспозиции, восстановления деталей в светах и тенях. Можно также настраивать баланс белого, не беспокоясь о его настройках при съемке. Но, кстати, цвет, который получается по умолчанию на Mavic Air, и так хорош. По крайней мере в тех условиях, в которых успел поснимать.

Для демонстрации технологии обработки я взял часть (кроп) заглавного кадра размером 900х900. Важно, чтобы при сравнении просмотр происходил без масштабирования, поскольку алгоритмы масштабирования, которые использует браузер (это, к тому же, не самые лучшие алгоритмы), будут искажать картину.

Кроп jpg-файла, записанного камерой дрона


Кроп картинки, полученной конвертацией DNG. Конвертация выполнена программой Adobe Camera Raw (ACR) с настройками по умолчанию и при коррекции Auto.


На исходном jpeg шум незаметен. Это результат работы встроенного шумодава. Из-за шумоподавления потеряны детали. Это хорошо видно, например, по листве кустов слева на переднем плане - там просто зеленые пятна. Из-за шумодава картинка становится "пластмассовой". Кроме того, велик контраст, детали в тенях потеряны. На картинке, полученной из DNG, шум заметен, хотя в ACR по умолчанию тоже включено подавление цветного шума. Зато с детализацией все намного лучше: в первую очередь это видно по листве. И нет пластмассовости. Автокоррекцией в ACR я почти никогда не пользуюсь, поскольку ее результат обычно не устраивает. Но здесь все получилось хорошо. Теневая сторона ёлок теперь не сплошное темное пятно.

Однако хочется большего. Можно настраивать шумодав в ACR. Но этого делать не хочу, не люблю и не буду. Попиксельной резкости нет. Если шарпить, шум еще усилится. Поэтому используем...

Суперразрешение

Технология суперразрешения основана на том, что из нескольких кадров низкого разрешения одной сцены можно сделать кадр высокого разрешения. Исходные кадры должны быть сделаны со сдвигом друг относительно друга. В идеале на полпикселя. Тогда, поскольку пиксель имеет конечный размер, он будет захватывать близкие части сцены. А потом, объединяя такие кадры, можно рассчитывать на восстановление деталей субпиксельного размера.

В Mavic Air есть возможность снимать серией до 7 кадров. Дрон делает эти 7 кадров примерно за 2 секунды (при выдержке 1/1000 в режиме RAW+jpeg). Потом еще некоторое время их обрабатывает и записывает. Камера на стабилизированном подвесе. Последовательные кадры должны, тем не менее, друг от друга немного отличаться. И они отличаются. Вот разница между первым и последним кадрами серии из 7 снимков.

Разумеется, рассчитывать на сдвиг точно в полпикселя не приходится. Но и вероятность сдвига на целое число пикселей тоже мала. Поэтому после выравнивания отдельных кадров можно надеяться на достижение эффекта.

Итак, последовательность действий будет такая:

  1. Снимаем 7 кадров.

  2. Увеличиваем все кадры в 2 раза.

  3. Выравниваем их по содержимому.

  4. Усредняем выровненные кадры.

  5. Получается картинка удвоенного разрешения (по количеству мегапикселей - учетверенного)

Увы, снова приходится заметить, что чудес не бывает. Наивно рассчитывать, что путем нехитрых в общем манипуляций мы получим из 12-мегапиксельных фотографий чистую и резкую 48-мегапиксельную картинку с массой новых деталей.

А получим мы вот что. Здесь снова сделан кроп, чтобы смотреть без масштабирования.


Появились ли новые детали? На белом заборе в правой части кадра чуть выше центра теперь отчетливо видны горизонтальные перекладины между столбами забора. Еще у белого домика с зеленой крышей в центре на чердачном окне видны горизонтальные части переплета. Чего-то другого, что не было бы видно на исходных кадрах, найти не могу. Практически исчез шум. В самом деле, шум - штука случайная и в результате усреднения он нивелируется. Но в целом картинка выглядит  размытой. Можно попробовать добавить резкости.

Получаем:


Стало резче, но снова усилился шум. И замыленность осталась. А фотошоповская Smart sharpness, которая кривовата, почти съела горизонтальный переплет. Видимо, на учетверение мегапикселей рассчитывать все-таки не следует.

А на удвоение? Уменьшим картинку в корень из двух раз по линейным размерам, что будет соответствовать уменьшению ее площади вдвое. А поскольку перед совмещением и усреднением мы линейные размеры удваивали, то получится в два раза больше пикселей, чем на исходной картинке. При уменьшении также применяется усиление резкости. Разумеется, я делаю ресайз вместе с шарпом с помощью программы C3C Image Size. Она именно для такого и предназначена.

Вот кроп результата. При клике можно увидеть картинку целиком.


Неплохо. Возможно, для печати такой вариант будет подходящим. Шума нет. Но и попиксельной резкости тоже нет. А мы ее любим. Поэтому сделаем решительный шаг и вернем размер картинки к исходному. Конечно, не от предыдущего промежуточного размера, а от максимального, полученного после усреднения.  Конечно с помощью программы C3C Image Size с автоматическим усилением резкости. Для этого в C3C Image Size выберем масштаб 50% и Авторезкость.

Получаем чистую и резкую картинку. Вуаля! И горизонтальные перекладины на белом заборе видны!


Actions

Для автоматизации такой обработки изготовлен Action для Фотошопа. Даже 3 варианта, объединенные в набор (Set) C3C Actions. Загружать здесь. Кроме перечисленных шагов обработки в конце выполнения каждого Action добавлен вызов программы C3C Color Wizard, которая позволяет сделать финальную доводку полученного кадра. Я в первую очередь использую Автоэкспозицию и Автонасыщенность (волшебная палочка). Можно поправить цветовой баланс, светлоту, резкость...

Три варианта Actions таковы:

1. Super Res 1:1 - выполняет описанную здесь обработку, дает картинку исходного разрешения (F10).
2. Super Res 1:1 Fast - быстрый вариант (Shift F10). Не выполняет увеличения картинок, выравнивает и усредняет исходный вариант. Соответственно, в конце не происходит уменьшения. Уступает по качеству результата предыдущему, но не сильно.
3. Super Res MPх2 - формирует итоговую картинку с вдвое большим чем у исходной числом мегапикселей (Ctrl F10).

Основной вариант Action работает на моем компе 5 минут. Intel Core i5 (4 ядра), 24Гб памяти, твердотельный накопитель, на котором кэш Фотошопа.

Это результат быстрой обработки



Порядок установки и использования Action

Установка:


1. Скачайте  C3C Actions.
2. Кликните по файлу atn или используйте Load Actions... на панели Actions Фотошопа.
3. Установите C3C Image Size и  C3C Color Wizard.

Использование:

1. Выполните предварительную строго одинаковую обработку серии файлов. Предпочтительно использовать DNG, тогда обрабатывать можно в ACR, предварительно выделив все файлы (Select All...). Можно сделать кадрирование, экспокоррекцию и цветокоррекцию, исправление перспективных искажений. Дальше можно открыть все файлы в Фотошопе или, если обработка была в ACR, использовать кнопку Done.
2. Запустите Actions. В появившемся диалоге выберите файлы для обработки (Browse...) или используйте Add Open Files, если все файлы (и никакие другие) открыты в Фотошопе. Нажмите OK.
3. Ждите. При появлении окна C3C Color Wizard можно выполнить финальную коррекцию или нажать Отмена.
4. Наслаждайтесь результатом.

Полный набор материалов, использованных в этой статье (DNG+JPG+ATN, 99МБ)

При подготовке статьи использованы материалы Tony Northrup и Ian Norman





Tags: c3c color wizard, c3c image size, dji mavic air, Суперразрешение, Фотография, дрон, обработка изображений
Subscribe

Recent Posts from This Journal

  • 1 Мая 1975

    Первомайская демонстрация 1975 года. Ленинград. Мехмаш ЛПИ. Мои однокурсники на демонстрации. Шли от Лесного проспекта 65 до Дворцовой. Если…

  • Панорамы Вологды

    Оказывается, тут можно опубликовать панорамы!

  • Белозерск

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 4 comments