В данном руководстве представлены основные этапы обработки снимков с мультиспектральных камер.

1. Добавление снимков

2. Поиск панелей для калибровки отражательной способности

3. Ввод значений коэффициента отражения (альбедо) калибровочной панели для каждого канала

4. Запуск калибровки отражательной способности

5. Выравнивание снимков

6. Оптимизация

7. Построение плотного облака

8. Построение ЦММ

9. Построение ортофотоплана

10. Расчёт необходимых индексов

11. Экспорт результатов

Приложение А. Наложение масок на калибровочные снимки вручную с помощью радиометрической панели

Приложение B. База данных панели отражения

Приложение C. Контроль расчёта отражательной способности

Приложение D. Виньетирование


Рекомендуется использовать для обработки Agisoft Metashape Professional 1.7.x


Metashape использует рекомендации MicaSense при калибровке отражательной способности и обработке мультиспектральных данных, и этот подход был подтвержден (путем проверки результатов из Metashape) в ходе совместного сотрудничества команд Agisoft и MicaSense. Дополнительную информацию о рекомендациях MicaSense можно найти на их веб-сайте и в примерах GitHub:
Если процедура калибровки отражательной способности не применяется (не может быть выполнена без радиометрической панели или данных сенсора освещенности), MicaSense будет исправлять только виньетирование, при условии, что соответствующая информация была сохранена в метаданных снимков. 


Набор данных MicaSense Altum, используемый в данном руководстве можно скачать с веб-сайта MicaSense:

https://www.micasense.com/altum-sample-data/ (полный полет 4,7 ГБ)


Этапы обработки

1. Добавление снимков

Снимки с камер MicaSense RedEdge, MicaSense Altum и Parrot Sequoia можно загружать одновременно для всех каналов. 

В меню Обработка и выберитеДобавить снимки. Выберите все снимки, в том числе снимки с панелью для калибровки отражательной способности, и нажмите кнопку OK. В диалоговом окне Добавить снимки укажите структуру "Многокамерная система":

Если снимки хранятся в нескольких папках, операцию добавления следует повторить для каждой папки. 

Не забудьте добавить снимки с пластиной для калибровки отражательной способности!


Metashape Professional может автоматически отбирать калибровочные снимки в отдельную подпапку в папке Камеры на панели Проект, если в их метаданных указано, что снимки предназначены для калибровки. Также они будут автоматически  заблокированы (не будут использоваться при непосредственной обработке).

Если в метаданных снимков нет такой информации, калибровочные снимки будут найдены автоматически на следующем этапе, или их можно вручную поместить в подпапку Калибровочные снимки в папке Камеры на панели Проект.


2. Поиск панелей для калибровки отражательной способности

Откройте меню Инструменты > Калибровать отражательную способность. Нажмите кнопку Найти панели.

По окончании процедуры поиска снимки с калибровочной панелью будут перемещены в отдельную папку, а также весь снимок будет закрыт маской, кроме самой панели. Если панели не найдены автоматически, сделайте это вручную, используя алгоритм из Приложения A. Если вы используете определенную панель впервые, и ее калибровка еще не добавлена во внутреннюю базу данных Metashape Pro, вам будет предложено загрузить калибровку из CSV-файла:

Если у вас нет файла CSV с информацией о калибровке, можно ввести значения калибровки вручную на следующем этапе. Если у вас есть радиометрическая панель MicaSense, вы можете запросить соответствующий файл CSV непосредственно на веб-сайте MicaSense: https://www.micasense.com/prv


3. Ввод значений коэффициента отражения (альбедо) калибровочной панели для каждого канала

Если значения калибровки отражательной способности были загружены из файла CSV или внутренней базы данных на предыдущем этапе, можно сразу перейти к 4-му этапу. После поиска панелей для каждого канала должны быть введены значения отражательной способности в соответствии с сертификатом панели. Это можно сделать вручную в диалоговом окне Калибровать отражательную способность или с помощью кнопки Выбрать панель, как описано в Приложении В данного руководства.

Температурный канал (LWIR) не требует калибровочного коэффициента, поэтому можно оставить его поле пустым в разделе Калибровочные данные панели.


4. Запуск калибровки отражательной способности

Поставьте галочку "Использовать калибровочные панели" и "Использовать сенсор освещенности" в диалоговом окне Калибровать отражательную способность, чтобы выполнить калибровку на основе данных панели и/или мета-данных снимков. Нажмите OK, чтобы начать процесс калибровки.


- - - - Продолжение обработки данных - - - - -


5. Выравнивание снимков

Откройте меню Обработка > Выровнять снимки и выставьте оптимальные настройки. Функции Преселекции позволят ускорить обработку больших наборов данных.

Результат выравнивания снимков отобразится в окне Модель в виде рассчитанных положений снимков и разреженного облака точек (представляет собой набор связующих точек между перекрывающимися снимками):

Синие прямоугольники показывают рассчитанное положение и ориентацию снимков. Ограничивающая рамка определяет область построения для дальнейших этапов обработки (Построение плотного облака, Построение полигональной и тайловой моделей, Построение ЦММ, Построение ортофотоплана), и при необходимости может быть откорректирована вручную с помощью инструментовПовернуть область,Изменить размер области,Переместить область.


6. Оптимизация

Для повышения точности выравнивания используйте инструментОптимизировать положения камер в меню Инструменты и выберите следующие параметры:


7. Построение плотного облака

Плотное облако точек позволяет восстановить более точную модель поверхности, улучшая тем самым и качество итогового ортофотоплана.

Откройте меню Обработка > Построить плотное облако и укажите следующие параметры:


Использование более высокого качества обеспечит более точное восстановление поверхности (будет большее количество точек), но обработка займет больше времени. В большинстве случаев для обработки данных аэрофотосъемки достаточно Среднего качества, особенно для однородной местности. Расчет цветов точек можно отключить, если плотное облако не входит в число обязательных итоговых моделей - это поможет немного сократить время обработки, а также уменьшить необходимое пространство на диске для хранения данного проекта.


Итоговое плотное облако точек будет отображено в окне Модель:

Если исходные каналы имеют метки RGB, Metashape попытается отобразить цвета точек плотного облака соответственно в этих цветах. В противном случае основной канал будет отображаться в серых оттенках.

Чтобы изменить основной канал, используйте меню Инструменты > Задать основной канал:


8. Построение ЦММ

Функция Построить цифровую модель местности (ЦММ) позволяет создать точную поверхность, которая будет использоваться в качестве источника для построения ортофотоплана, за меньшее время, чем функция Построить модель. Хотя последний тип цифровой модели может потребоваться для восстановления сложного рельефа/местности.

Откройте меню Обработка > Построить ЦММ и установите следующие параметры:

Обязательно выберите плотное облако в качестве исходных данных для реконструкции, укажите систему координат для привязки ЦММ и выберите метод интерполяции. 


Параметр "Экстраполированная" позволит получить поверхность без каких-либо пустот, экстраполированных по сторонам ограниченного прямоугольника, в то время как параметр по умолчанию («Интерполяция») оставит допустимые значения высоты только для областей, которые видны хотя бы на одном выровненном снимке.


По завершении обработки откройте окно Орто, чтобы отобразить восстановленную цифровую высотную поверхность, и дважды нажмите на экземпляр ЦММ в содержимом блока на панели Проект.


9. Построение ортофотоплана

Откройте меню Обработка > Построить ортофотоплан и установите следующие параметры:


Используйте ЦММ в качестве исходной поверхности. При необходимости откорректируйте разрешение итогового ортофотоплана, нажав кнопку "Метры".

Обратите внимание на опцию "Режим смешивания" - если вы хотите исключить любое смешивание или усреднение, применяемое к снимкам, в этом случае выберите опцию Отключён.

Чтобы просмотреть итоговый ортофотоплан, переключитесь обратно к окну просмотра Орто, дважды щелкнув экземпляр ортофотоплана на панели Проект:


10. Расчёт необходимых индексов

Откройте диалоговое окно Преобразование растра в меню Инструменты. На вкладке "Преобразование" введите формулы индексов, которые хотите вычислить на основе исходных данных.

Можно ввести более одной формулы, если необходимо экспортировать ортофотоплан с несколькими выходными каналами, включающим разные индексы, или если рассчитанные индексы должны быть представлены в режиме "Псевдо цвета".


На вкладке "Палитра" выберите способ визуализации одного из вычисленных индексов или используйте шкалу "Псевдо цвета" для трех выходных каналов (обратите внимание, что для данного способа значения используемых каналов должны быть в диапазоне 0-1 для правильного представления RGB, где значения будут автоматически масштабироваться до 8-битного представления RGB в режиме "Псевдо цвета"). 


На следующем рисунке показано представление единственного канала, значения которого рассчитаны по формуле на вкладке "Преобразование" (в данном случае - B1). Цветовую шкалу индекса можно выбрать из предложенного списка, загрузить из файла *.clr или назначить цвета шкалы вручную.


Значения диапазона под гистограммой являются абсолютными значениями рассчитанного индекса (выходного канала), значения цвета из раздела палитры будут масштабироваться до выбранного диапазона следующим образом: минимальное значение диапазона соответствует значению 0 в цветовой шкале палитры, максимальное значение диапазона соответствует значению 1 цветовой палитры:

Когда выбрана опция "Псевдо цвета", область гистограммы можно игнорировать. Нужно только выбрать соответствие между выходными каналами и цветами RGB в режиме "Псевдо цвета":


11. Экспорт результатов

Для сохранения ортофотоплана перейдите в меню Файл > Экспорт > Экспорт ортофотоплана.

В диалоговом окне экспорта обратите внимание на пункт "Преобразование растра" - здесь доступны следующие варианты для выбора:

  • Нет - означает, что экспортированный ортофотоплан будет содержать такое же количество каналов, что и в исходных данных, любые формулы преобразования будут проигнорированы;
  • Значение индекса - эта опция позволяет сохранять выходные каналы с рассчитанными значениями по формулам преобразования в Растровом калькуляторе;
  • Цвет индекса - ортофотоплан сохранится в цветах RGB в соответствии с настройками палитры в диалоговом окне Растрового калькулятора. Экспортированное растровое изображение будет выглядеть так же, как ортофотоплан в окне просмотра Орто, при условии, что в разделе "Преобразование" диалогового окна Растровый калькулятор стоит галочка "Включить преобразование".


Некоторые сторонние программы для анализа ортофотоплана некорректно интерпретируют прозрачность, сохраненную в альфа-канале (пользователи сообщают о проблемах в программах QGIS и ArcGIS), поэтому рекомендуется снять галочку "Сохранять альфа-канал" в диалоговом окне экспорта.



Metashape Pro выполняет операцию калибровки отражательной способности в соответствии с рекомендациями MicaSense. Поэтому значения в выходных каналах будут по-прежнему 16-битными целыми числами (как значения в исходных данных), но 100%-ная отражательная способность для каждого канала будет соответствовать середине рассчитанного диапазона, то есть значению 32768. Если необходимо экспортировать коэффициент отражения, нормализованный в диапазоне от 0 до 1, необходимо задать выходные каналы в диалоговом окне Растровый калькулятор и для каждого из них ввести формулу, которая делит исходные их значения на коэффициент нормализации: B1/32768; B2/32768; B3/32768; B4/32768; B5/32768 (поскольку тепловой канал (LWIR) не участвует в процессе калибровки отражательной способности, нормализация для него не требуется):
Затем в диалоговом окне Экспорт ортофотоплана выберите параметр "Значение индекса" в разделе "Преобразование растра".



Приложение А. Наложение масок на калибровочные снимки вручную с помощью радиометрической панели

Если по какой-либо причине калибровочные снимки не могут быть найдены автоматически (например, если калибровочная панель не поддерживается или отличается от панелей MicaSense), и папка "Калибровочные снимки" не создается автоматически, добавьте группу камер на панели Проект вручную и назовите её "Калибровочные снимки", затем переместите калибровочные снимки в эту группу и заблокируйте их. Чтобы создать новую папку на панели Проект, выберите снимки с калибровочной панелью, нажмите на них правой кнопкой мыши и выберите Переместить камеры > Новая группа, затем щелкните правой кнопкой мыши на созданную папку и переименуйте ее в Калибровочные снимки. Также необходимо вручную наложить маски на калибровочные снимки - на каждом калибровочном снимке (в соответствующей папке активного блока) необходимо замаскировать все, кроме калибровочной панели:

Маски необходимо применять для каждого калибровочного снимка в каждом канале! Для переключения между каналами используйте меню Инструменты > Задать основной канал.

По завершении процедуры маскирования перейдите к 3-му этапу данного руководства и введите значения отражательной способности для каждого канала, а затем перейдите к процедуре калибровки.


Приложение B. База данных панели отражения

Metashape хранит информацию об используемых панелях калибровки отражательной способности. Поэтому при обнаружении калибровочных снимков с уже используемой панелью Metashape автоматически предложит значения отражательной способности из внутренней базы данных. База данных панелей калибровки отражательной способности может быть отредактирована через диалоговое окно Выбрать панель, которое открывается через диалоговое окно Калибровать отражательную способность.


В диалоговом окне Выбрать панель можно:

  •  загрузить информацию об отражательной способности из файла CSV; 
  • сохранить текущую таблицу (длина волны/коэффициент отражения); 
  • редактировать название панели в базе данных (имя отображается в окне Калибровать отражательную способность); 
  • удалить информацию о панели из базы данных.


Приложение C. Контроль расчёта отражательной способности

Расчёт отражательной способности можно включить/отключить отдельно для каждого сенсора в диалоговом окне Калибровка камеры.

Если результаты калибровки отражательной способности необходимо учесть во время процесса создания ортофотоплана, откройте диалоговое окно Калибровка камеры и убедитесь, что стоит галочка "Нормализовать чувствительность канала":

Если галочка Нормализовать чувствительность канала не стоит, полученный ортофотоплан будет содержать значения цвета по умолчанию без каких-либо изменений благодаря калибровке отражательной способности по информации с панели или мета-данных снимков (включая информацию с сенсора освещенности).

Тепловой канал (LWIR) не участвует в процессе калибровки отражательной способности, поэтому для него не ставьте галочку Нормализовать чувствительность канала.



Приложение D. Виньетирование

Виньетирование моделируется в Metashape с использованием двумерного полинома 3 степени: 

V(x, y) = exp(sumii cij * xi * yj), 

где x и y представляют собой нормализованные координаты пикселя, то есть координаты левого верхнего угла изображения (-1, -1), а координаты правого нижнего угла соответственно (1, 1). 


Для компенсации виньетирования изображения значение интенсивности для каждого пикселя делится на соответствующий коэффициент виньетирования. 


I'ij = Iij / exp(sumij cij * xi * yj), 

где 

x = 2 * (i + 0.5) / w - 1 

y = 2 * (j + 0.5) / h - 1 

i, j - целочисленные координаты пикселя (столбец и строка) 

w, h – ширина и высота изображения в пикселях 

x, y - нормализованные координаты пикселя 

Iij - интенсивность для пикселя на исходном изображении с виньетированием 

I'ij   - интенсивность для пикселя на скорректированном изображении с виньетированием