Рекомендации по использованию тепловизионных камер DJI

Тонкости использования беспилотных камер, устанавливаемых не беспилотные летательные аппараты DJI

Появление компактного промышленного квадрокоптера DJI Mavic 2 Enterprise Dual, оснащенного тепловизионной камерой, вызвало небывалый интерес среди профессиональных пользователей. Но у некоторых такое решение DJI породило целый ворох вопросов. Прежде всего, обращает на себя внимание сам факт появления в арсенале портативного летательного аппарата двойной камеры с тепловизионной матрицей. 

Но это еще не самый удивительный момент. Важнее то, что DJI в последние годы активно продвигает собственные съемочные системы с тепловизионными матрицами или делает это вместе со своими партнерами. Расширение линейки тепловизионных камер – от Zenmuse до ViewPro – говорит о том, что подобная продукция пользуется большим спросом на рынке. Но кто и зачем использует тепловизионные камеры? Давайте рассмотрим эти вопросы и попробуем ответить на главные: кому могут быть полезны тепловизионные камеры и как ими правильно пользоваться.

Мы рассмотрим эти вопросы на примере камеры квадрокоптера DJI Mavic 2 Enterprise Dual. Его двойная камера с визуальной и тепловизионной матрицами разрабатывалась в партнерстве с компанией FLIR Systems – лидером рынка тепловизионных камер. Это партнерство уже принесло успех при разработке тепловизионных камер с подвесами серии Zenmuse. Между линейкой Zenmuse XT и тепловизионной камерой M2E Dual много общего, поэтому логично посмотреть, как работает вся эта система и как ей можно пользоваться.

Что представляют собой тепловизионные камеры?

Тепловые камеры позволяют увидеть то, что не может рассмотреть человеческий глаз: невидимое тепловое излучение, испускаемое или отражаемое всеми объектами независимо от условий освещения. Например, энергия инфракрасного излучения является частью электромагнитного спектра. Она всегда присутствует вокруг нас, но остается невидимой невооруженному глазу, за исключением крошечного фрагмента в центре, который мы и называем видимым светом.

Наши глаза видят этот свет, который в действительности отражается поверхностью объекта. При этом он имеет волновую природу и отражается в разных диапазонах волн (на разной длине). Именно этот фактор придает излучаемому свету различный цвет. Это мы тоже видим. 

Тепловая энергия тоже может передаваться, отражаться и излучаться. Однако если видимый свет проходит через стекло, то тепловая энергия – нет. Мало того, большая часть тепловой энергии, которую вы видите с помощью дрона, будет излучаться или отражаться. Причем эти процессы – излучение и отражение – могут происходить одновременно. 

Когда мы говорим о том, насколько эффективно объект выделяет собственную тепловую энергию, мы имеем в виду его способность к излучению. У разных объектов разная способность отдавать собственную тепловую энергию. Это зависит от различных факторов: типа материала, типа и состояния поверхности объекта. Такие объекты, как люди, животные и камни имеют высокую излучательную способность, в то время как, например, блестящие металлы, напротив, низкую. Из-за этого они обладают отражательной способностью. Однако ситуация может измениться, если поверхность таких металлов покрыть краской или подвергнуть коррозии. 

Интересно то, когда два объекта имеют близкие температурные параметры, но обладают разной излучательной способностью. Такой случай как раз хорошо определяется тепловизионной камерой. Например, ниже вы видите тепловизионное изображение крыши здания (создано в FLIR Delta). Это крыша здания, выполненная из одного и того же металла. Однако слева новое покрытие без покраски. Оно отображается холодными синими цветами.

Принимая во внимание вышеизложенное, следует помнить о нескольких моментах:

• Тепловая энергия представляет собой преимущественно поверхностное явление, а тепловизионные камеры не могут видеть сквозь что-либо в виде стекла или стены (в буквальном смысле этого понятия).
• На отображение тепловой энергии могут влиять различные факторы, например, материал объекта, состояние поверхности и близлежащие объекты.
• Также важно помнить о том, что тепловизионные камеры в действительности находят различия не в самой температуре, а в тепловой энергии. Это является фундаментальной идеей. 

Что такое тепловые палитры

Различные цветовые схемы используются для изображения различных тепловых изображений. Инфракрасная/тепловая энергия недоступна для невооруженного человеческого глаза. Поэтому для тепловых изображений принято использовать псевдоцвета, чтобы человек смог увидеть тепловое излучение в цветовом формате.

Как яркие цвета, так и различные цветовые оттенки вплоть до серого, несут в себе очень специфическую и весьма объемную информацию. И понимание того, что они представляют собой, позволяет применять полученную информацию наилучшим образом, например, для обнаружения людей, различных объектов или процессов, – то есть всего того, что представляет интерес для изучающих вопрос.

Основные цветовые палитры

При работе с тепловизионными камерами принято использовать следующие основные цветовые палитры: “горячее белым” (White Hot), то есть, режим работы тепловизора, когда более теплые зоны или объекты отображаются более светлым цветом, и “горячее черным” (Black Hot), то есть, режим работы тепловизора, когда более теплые зоны и объекты отображаются более темным цветом. Также используются особые многоцветные изображения.

Теперь давайте коротко рассмотрим, что означают различные палитры, используя изображения и информацию компании FLIR Systems.

“Горячее белым” (White Hot)

В просторечии говорят “раскаленный добела”, однако в профессиональном языке используется “горячее белым”. В таком режиме тепловизор обычно отображает более теплые объекты в белом, а более холодные объекты – в черном. Палитры градаций серого предлагают простоту для сцен с широким диапазоном температур и генерируют изображения с реалистичными деталями. Универсальность палитры White Hot сделала ее очень популярной, когда тепловизионная съемка используется для работы с ландшафтами и городскими районами.

Сепия (Sepia) (светло-коричневая палитра)

Палитра Sepia будет полезной в тех случаях, когда вам приходится вести длительное наблюдение или разведку объекта с помощью тепловизионной съемки. Тогда отображение получает теплый золотистый (светло-коричневый) оттенок палитре White Hot. В результате, утомляемость глаз снижается, как снижается и психическая усталость.

Цветная палитра (Rainbow HC)

Благодаря использованию разных цветов для отображения незначительных перепадов температур палитру Rainbow HC лучше всего применять для для сцен с минимальным диапазоном температур. Фокусировка на области с аналогичной тепловой энергией позволяет Rainbow HC обнаруживать объекты и небольшие изменения температуры.

“Горячее черным” (Black Hot)

Этот тип палитры представляет собой инверсию палитры White Hot. То есть, в данной палитре более теплые объекты отображаются черным, а более холодные – белым. На практике такая палитра широко используется правоохранительными органами и охотниками, так как Black Hot отражает тепло тела более четко и реалистично.

Арктический (Arctic)

Собственно, здесь все достаточно просто. Термин подразумевает отображение теплых объектов и зон золотистым (теплым) цветом, а холодных объектов и зон – синим, холодным. Не случайно, термин “арктик” часто используется для обозначения зоны низких температур. Палитра Arctic смешивает цвета простой палитры “горячий металл” (Ironbow) с низкоконтрастной палитрой Rainbow HC (см. выше). Разные цвета быстро обнаруживают источники тепла, в то время как более темные тона показывают небольшие изменения температуры.

“Горячий металл” (Ironbow)

Эта палитра универсального характера, с помощью которой можно быстро выявить температурные аномалии и температуру тела. Палитра Ironbow использует цвет, чтобы показать распределение тепла и тонкие детали. Горячие объекты отображаются более светлыми, теплыми цветами, а более холодные – темными, прохладными.

Впрочем, не стоит думать, что среди специалистов, активно использующих тепловизионные камеры и цветные тепловые палитры, господствует единое мнение о том, как выбирать и интерпретировать эти инструменты. Некоторые, например, считают, что палитра White Hot дает недостаточно деталей. А другие убеждены, что разноцветные палитры лишь отвлекают. 

Одно из популярных мнений заключается в том, что наиболее эффективными следует считать палитры White Hot и Dark Hot. Но только в том случае, если целью работы с тепловизионной камерой является обнаружение небольших, слабых тепловых перепадов или же, когда идет работа в сложных условиях высокой температуры и влажности.

Что же касается других палитр, то здесь тоже существует разное мнение и рекомендации по применению. Например, цветная палитра Ironbow и ей подобные могут служить отличным инструментом при инспекции кровель, солнечных панелей или наружного электронного оборудования. Напротив, палитра Arctic лучше всего подходит для усиления контрастных цветов. С точки зрения оператора беспилотника, эти высококонтрастные цветовые палитры дадут наилучшие результаты, когда интересующий объект заполняет значительную часть дисплея. Тогда можно эффективно пользоваться цветовыми различиями.

Короткое видео показывает, как палитры выглядят в реальной ситуации:

В любом случае, как утверждают в компании FLIR Systems, тепловизионные камеры безусловно остаются крайне эффективным инструментом. Однако таковыми они будут только в руках опытных и компетентных пользователей, которые могут быстро интерпретировать изображение и могут работать с любой доступной палитрой. Только тогда можно принимать оперативные и точные решения, когда дорога каждая минута, а то и секунда. 

Что такое изотермы?

Изотермы – это разновидность цветовых палитр. С их помощью обычно выделяют нужные диапазоны температур. Вот почему они важны для операторов. Основной задачей применения изотерм является определение того, что может быть выше определенного порога температуры. Если изотерма показывает что-то экстремальное, что это служит сигналом тревоги для оператора. 

Однако, как показывает практика, полагаться только на изотермы в ряде случаев просто нельзя. Например, команда ищет пропавшего человека. Если он находится рядом со скалой или деревом, которое выделяет примерно такое же количество энергии, то изотерма не поможет выявить интересующую вас цель.

То есть, если вам необходимо обнаружить незначительные тепловые различия, как в вышеописанной ситуации, то наиболее эффективным инструментом будут палитры. В частности, лучше использовать палитры Black Hot и White Hot. Можно использовать также изотермы, но этот инструмент может быть только дополнительным, а не основным.

Поле зрения и разрешение

Еще один довольно непростой вопрос для работы тепловизионных камер – выбор подходящего объектива и параметров разрешения. Они должны быть оптимальными для задач полетной миссии. 

Как известно, чем выше разрешение камеры, тем больше пикселей. Это обеспечивает высокую детализацию кадра. Но есть одно “но”. Меньший по размеру объектив при более высоком разрешении оператор получит более широкий угол обзора (FOV). А это приведет к более широкому распределению пикселей и снижению дальности обнаружения. То есть, сложность заключается в том, чтобы найти правильный баланс между детализацией изображения, углом обзора и масштабированием.

Пример показан на видео ниже. 

Первый сценарий сравнивает объективы 9 мм, но с разными разрешениями и контрастными FOV. Изображения слева имеют разрешение 336 x 256 при FOV 35° x 27°, а изображения справа имеют разрешение 640 x 512 при FOV 69° x 56°. Посмотрите, что происходит, когда в камере изображение людей и автомобиля уменьшается.

Как вы можете видеть, при разрешении 640 имеется более широкий угол обзора. Но если мы уменьшаем зум, то снижается и дальность обнаружения. Видно, что объекты едва заметны. Фактические расстояния обнаружения:

Этот пример хорошо показывает, что необходим определенный компромисс. Он заключается в детализации изображения и широте охвата или увеличении точности и дальности обнаружения.

Следующий пример такой же, как и первый, за исключением того, что при разрешении 640 угол обзоре меньше, чем раньше: на этот раз он составляет 32° x 26° (справа). Посмотрите, что здесь происходит.

В этом примере, когда FOV меньше, объект виден издалека при разрешении 640. Фактические расстояния обнаружения:

В последнем примере показано разрешение 640, но с объективами 9 мм (слева), 13 мм (в центре) и 19 мм (справа). Это дает хорошее представление о компромиссе между областью, которую вы можете охватить, и диапазоном, в котором вы можете различать цели в пределах данного разрешения.

Как далеко можно видеть?

Собственно два ключевых вопроса интересуют всех, кто приступает к съемкам тепловизионной камерой, установленной на беспилотнике: как далеко можно видеть и насколько высоко можно подниматься. Действительно, каждый из двух вопросов значим сам по себе. Важно ведь не только то, насколько далеко вы увидите объект и как высоко поднимите дрон, но и то, насколько точно вы сможете измерить температуру объекта. Обнаружение объекта на расстоянии зависит от целого ряда факторов. Среди них:

• Размер объекта
• Какое количество тепловой энергии он выделяет
• Погодные условия
• Температурные различия между объектом и его окружением

Но с точки зрения оператора, который пытается получить точные данные о температуре, важно знать, что даже если вы что-то точно увидели, это не является гарантией получения точных данных о температуре объекта. 

Существует три параметра, которые невозможно компенсировать при съемке: фокусировка, диапазон и расстояние (по-английски эти три параметра сокращенно звучат, как FORD). 

• Фокус: определить фокус камеры.
• Диапазон: температурный диапазон, к которому настроена чувствительность камеры. Необходимо включить данный параметр в ваш предполетный чек-лист.
• Расстояние: Расстояние от камеры до интересующего объекта, но не только высота над землей. В поисково-спасательных операциях и при решении других проблем, например, во время полицейских операций оператору следует знать размеры объекта поиска и планировать свой полет так, чтобы угол обзора, высота и отрезок траектории были заранее просчитаны и продуманы. В ином случае обнаружить цель невозможно.

Оператор (или команда) должна планировать полет с учетом измеряемого угла обзора камеры (MFOV). MFOV – это не один пиксель, как считают многие, а по факту это квадрат 5×5 пикселей. Чтобы получить точные данные о температуре, объект должен заполнить и, предпочтительно, перекрывать всю точку 5×5 пикселей. Если точка MFOV больше объекта, который планируется измерить, то оператор получит искаженные данные. Причина в том, что при замере в общую информацию будут включены данные о тепловом излучении расположенных рядом посторонних объектов, а не только интересующего вас.

Область, которую покрывает MFOV, будет зависеть от расстояния, на котором вы находитесь от интересующего вас объекта. Это позволит команде планировать полетную миссию таким образом, чтобы оператор не оказался за пределами геометрической 

В первую очередь, это позволяет планировать полеты, чтобы вы не оказались за пределами геометрических очертаний, которые вам нужны для получения точных данных о температуре.

Влияние погодных условий и других внешних факторов

Безусловно, если вы используете беспилотник с тепловизионной камерой для поисковых задач или для решения других важных вопросов, необходимо знать, каким образом на результаты съемки могут повлиять погодные условия и другие факторы внешнего порядка. Опять же, следует представлять себе специфику влияния условий окружающей среды на тот или иной формат полетной миссии: поиск пропавших людей, отработка подозреваемых или инспекция промышленных/инфраструктурных объектов. Например, при инспекции определённых объектов иногда приходится иметь дело с областями или структурами, которые намного меньше по размерам, чем те объекты, с которыми имеют дело поисковые команды. Вместе с тем, те же поисковые команды сталкиваются с тем, что им зачастую приходится охватывать гораздо большие по размеру территории, чем операторам инспекционных дронов.

Сравнение теплового излучения от инспектируемого объекта и человека 

Кроме того, операторам и/или командам сферы общественной безопасности часто приходится принимать решения в режиме реального времени на основе тех изображений, которые они видят в текущий момент. Напротив, операторы инспекционных команд и их коллеги в офисе могут чаще просматривать данные позднее. Им не так часто приходится принимать решения в режиме реального времени. 

Имея это в виду, важно помнить, что, в частности, для операций в сфере общественной безопасности количество тепловой энергии и то, откуда она исходит, может стать решающим для успеха или неудачи операции. Вот почему для достижения успешных результатов нужно хорошо понимать то, как окружающая среда влияет на ваши данные. А если конкретнее, что необходимо знать о 3 взаимосвязанных факторах окружающей среды:

• Дневном цикле
• Солнечной нагрузке
• Тепловом пересечении

Дневной (или суточный) цикл имеет постоянный характер и включает процесс восхода и захода солнца. Чем дольше встает солнце и чем яснее небо, тем больше излучения поглощается наземными объектами. Когда солнце садится, то накопленное излучение возвращается в атмосферу. Чем больше солнечной радиации поглощается, тем труднее разобрать объекты на земле. Это и означает понятие “солнечная нагрузка”. По мере того, объект или территория, которую вы исследуете, поглощает все больше и больше излучения, уменьшается разность температур между интересующим вас объектом и его окружением.

Когда интересующая вас зона нагружена солнечной энергией, бывает крайне трудно отличить одно от другого, как показано на изображении ниже. На нем зеленой стрелкой показано местонахождение человека. Однако, как видно на фото, искомый объект обнаружить на окружающей территории непросто. Это именно тот случай теплового пересечения. Тепловое пересечение происходит, когда видимая разница температур между интересующим объектом и ближайшим окружением уменьшается до такой степени, что камера не может уловить различий между ними.

В некоторых случаях то, что выглядит теплым на прохладном фоне, можно перевернуть и выглядеть прохладным на теплом фоне. В таких случаях нужно помнить, что тепловая энергия и температура – это не одно и то же. То есть, то, как вы ощущаете температуру окружающей среды и собственно тепловая энергия, может выглядеть совершенно по-разному.

Что касается собственно погодного фактора, то такие погодные явления, как облачность, туман, дождь или влажность, могут значительно повлиять на отображаемую тепловизором информацию. При этом опять же следует принимать в расчет погодные условия дня и ночи. В качестве конкретного примера отметим влияние влажности в атмосфере. Она будет поглощать/рассеивать тепловую энергию, снижать дальность обнаружения, так как камера будет получать недостаточно энергии.

Несмотря на то, что в краткосрочной перспективе это может усложнить наблюдение, после окончания дождя на самом деле становится легче видеть вещи, которые выделяют тепло, например людей, на цветном фоне. Эти моменты следует особенно учитывать при выполнении операций из сферы общественной безопасности. Члены команды беспилотного подразделения должны предвидеть погодные и иные внешние факторы и уметь учитывать их (компенсировать) при выполнении задания. 

Для выполнения задач с помощью летающей тепловизионной камеры вы можете использовать следующие инструменты: промышленный квадрокоптер со встроенной тепловизионной камерой Mavic 2 Enterprise Dual, камеру на подвесе со стабилизацией Zenmuse XT2 – результат совместной разработки DJI и FLIR Systems, а также камеры с тепловизионным датчиком бренда ViewPro. Камеры Zenmuse XT2 и ViewPro совместимы со следующими дронами:

• Matrice 200
• Matrice 210
• Matrice 210 RTK
• Matrice 600 Pro

Подробнее о том, где и как можно использовать беспилотники с тепловизионными камерами, читайте в статье “Преимущества и возможности применения тепловизионных камер”.