Loading...

SWIR-визуализация яблок, часть II: мультиспектральное будущее инспекции пищевых продуктов

Ограничения любого одного спектра означают, что будущее может быть за слиянием изображений и алгоритмами на базе искусственного интеллекта.

Как мы уже говорили в части I, визуализация в коротковолновом инфракрасном диапазоне (SWIR) позволяет получить чрезвычайно ценную информацию о состоянии сложных свежих продуктов, таких как яблоки, — информацию, которую не может предоставить видимый спектр. Но сам по себе SWIR также имеет ограничения. Так куда мы движемся дальше?

Значение оптических изображений для неразрушающего контроля и сортировки пищевых продуктов означает, что это постоянное внимание для НИОКР. Автоматическое определение «качества продукта» в пищевых продуктах остается серьезной проблемой. Обнаружение физических переменных на изогнутых поверхностях, различение дефектов и естественных особенностей, невидимых и подповерхностных дефектов зависит от надежности лежащих в основе алгоритмов, а также скорости и производительности систем быстрого оптического обнаружения. Эти проблемы могут снизить точность контроля, увеличить затраты или замедлить производственную линию.

Сегодня мы видим использование монохромных, цветных (VIS), ультрафиолетовых (UV), ближних инфракрасных (NIR), коротковолновых (SWIR) и гиперспектральных систем визуализации, которые используются для сортировки нашей еды. При использовании методов визуализации SWIR практически невозможно одновременно предоставить пространственную и спектральную информацию о физических и химических свойствах всего объекта. И это качества, которые мы хотим знать. Например, спектрометрическая система может обеспечить неразрушающую оценку содержания растворимых твердых веществ (SSC) в фруктах. Это конкретное измерение, которое оказалось мощным инструментом для прогнозирования внутренних качеств фруктов. Но спектроскопические измерения собирают информацию только с одной области образца за раз, что ограничивает его использование для обнаружения поверхностных дефектов на всем фрукте.

Как и в любой другой инспекционной отрасли, всегда требуется работать быстрее, с более высоким качеством продукции и с меньшими затратами. Как только решение будет принято, технология гиперспектральной визуализации может объединить характеристики как спектроскопии, так и визуализации в одну систему, обеспечивая разнородную информацию, отражающую множество характеристик качества пищевых продуктов, которые позволяют прогнозировать продаваемость и долговечность свежих продуктов.

Использование гиперспектральных изображений: увидеть больше за раз

А к яблокам люди разборчивы. Вкус - это только начало. В азиатских странах яблоко премиум-класса можно использовать в качестве подарка для особых церемоний, таких как празднование Лунного Нового года. Здесь это означает большой размер, ярко-красный цвет кожуры и высокое содержание сахара.

Гиперспектральная визуализация - это один из подходов, который может дать нам ценную информацию обо всех этих свойствах одновременно, начиная с размера и формы, цвета и даже химического состава наблюдаемых поверхностей. Традиционное использование методов гиперспектральной визуализации ограничивалось почти исключительно спектральной областью видимого диапазона (380-740 нм) и VNIR (750-1000 нм), доступной для кремниевых матричных детекторов.

Размер плода - один из наиболее важных факторов, используемых для определения ценности плода, а более крупные плоды дороже, чем более мелкие. Для получения более крупных плодов применяется ряд методов выращивания. Это могут быть физические методы, такие как обрезка и прореживание, а также химические методы, такие как регуляторы роста растений. Но использование (или чрезмерное использование) этих средств удобрения может иметь побочные эффекты, такие как удлинение плодов, что не является предпочтительным в таких странах, как Япония, Китай и Корея, где люди предпочитают фрукты круглой формы, такие как яблоко Фуджи или азиатские груши. Насколько это много? Для какого рынка? Вам необходимо измерить как обработку, так и результат, чтобы знать, что будет работать для вашей системы с течением времени.

 

Слева груши, выращенные для азиатских рынков. Справа груши для рынков Северной Америки. Источник: Азиатские и европейские груши, Центр диверсификации сельскохозяйственных культур, Колледж сельского хозяйства, продовольствия и окружающей среды Университета Кентукки.

 

Однако развитие инспекции в реальном времени на основе гиперспектральных изображений натолкнулось на узкие места. Гиперспектральные изображения - это изображения, в которых каждый пиксель формирует почти непрерывный спектр, причем каждое пространственное положение гиперспектрального изображения содержит сотни полос. Это приводит к огромным наборам данных, которые увеличивают требования к сбору и обработке всей системы контроля и часто исключают возможность (или практичность) применения в реальном времени.

Мультиспектральная визуализация: более сфокусированный вариант

Другое решение - получение мультиспектральных изображений. Мультиспектральная визуализация очень похожа на гиперспектральную визуализацию, но позволяет получать ультрафиолетовые, видимые и инфракрасные спектры для каждого исследуемого образца. Но вместо того, чтобы захватывать все в непрерывном диапазоне, вы захватываете данные изображения в специально выбранных прерывистых спектральных диапазонах. Например, типичная многоспектральная система построения изображений может давать изображение обычно от трех до 20 полос в большем диапазоне, например, два от УФ, три от видимого и пять от ИК.

Это позволяет вам выбирать узкополосные изображения в дискретном спектральном диапазоне, генерируя специфические длины волн каждого пикселя в целевом объекте, резко сокращая необходимую вам полосу пропускания. Это также обеспечивает скорость, необходимую для быстрого сканирования больших объемов продукции, удовлетворяя потребности отрасли в быстрой идентификации и обнаружении.

 

Сравнение основных характеристик методов визуализации, спектроскопии, гиперспектральной визуализации и мультиспектральной визуализации. Источник: Мультиспектральные изображения для анализа и визуализации качества пищевых продуктов растений, Комплексные обзоры в области пищевой науки и безопасности пищевых продуктов.

 

Системы формирования мультиспектральных изображений могут быть разработаны на основе устройств фильтрации и диспергирования (таких как оптические и настраиваемые фильтры). Мультиспектральная съемка дает множество преимуществ с меньшими и более простыми системами, которые могут работать намного быстрее. Но вы должны точно знать, что ищете. Вам необходимо построить свой датчик и систему на основе очень конкретной информации, которая даст наиболее решающий результат. Это становится наиболее сложной задачей для получения мультиспектральных изображений, когда выбираются длины волн для представления конкретных характеристик, характеризующих интересующие объекты.

Что касается анализа качества и безопасности пищевых продуктов, наиболее часто используемые системы мультиспектральной визуализации предназначены для получения спектральных данных в диапазоне VISNIR (от 380 до 2500 нм). Собранные спектры могут предоставить сложные структурные особенности образцов, связанные с сильным поглощением пигментов и обертонов (таких как первый обертон, второй обертон и третий обертон) или комбинированные режимы (деформация и растяжение) молекулярных связей (например, C – H ( алифатические и ароматические), C – O (карбоксильные), N – H (амидные и аминные) и O – H (гидроксильные) функциональные группы).

Мультиспектральные изображения позволяют получать трехмерные данные, которые можно выборочно преобразовывать в двухмерные химические изображения с помощью многомерного моделирования. Такой подход позволяет прогнозировать и визуализировать параметры качества фруктов и овощей:

  • Физические свойства: текстура, водоудерживающая способность
  • Химические вещества: содержание крахмала и белка
  • Микробиологический: содержание вирусов и грибков
  • Фальсификация: вид, происхождение
  • Градация: спелость, срок хранения
  • Загрязнение: форхлорфенурон, имидаклоприд
  • Дефекты: ушибы, гниение

Такие параметры качества растительной пищи можно не только определять качественно или количественно, но и визуализировать их в пространстве, что позволяет получать мультиспектральные изображения для проведения неразрушающих и неоднородных измерений качества.

Например, если мы не можем напрямую измерить SSC с помощью спектроскопии, мы можем вместо этого косвенно измерить его с помощью инструментов мультиспектральной визуализации. Другое исследование подтвердило, насколько поглощение определенной длины волны соответствует SSC или содержанию сахара в фруктах:

  • Полосы 535 и 680 нм относятся к основным пигментам (антоцианину и хлорофиллу) в яблоках, и эти пигменты яблок будут меняться с изменением их спелости.
  • 760 нм коррелирует с содержанием воды, которое обратно пропорционально SSC в плодах.
  • Поглощение при 730 и 900 нм связано с углеводами, которые могут определять концентрацию сахарных растворов.
  • Было показано, что около 900 нм соответствует SSC нескольких видов фруктов (яблоко, груша и персик).

Другое исследование показало, что многие точки в спектре VIS-NIR (400–5000 нм) могут быть полезны для обнаружения чего-то столь же специфичного, как ушибы на яблоке, созданных за час до эксперимента. При объединении этих диапазонов изображений с различными шумовыми характеристиками и характеристиками производительности необходимо выполнить более сложный анализ изображения, чтобы получить точный результат. Одним из распространенных методов является преобразование минимальной доли шума (MNF), алгоритм, который включает две последовательные операции сокращения данных. Первый основан на оценке шума в данных, представленных корреляционной матрицей. Это преобразование затем декоррелирует и изменяет масштаб шума по дисперсии. Затем второе преобразование рассматривает информацию между полосным шумом, давая взвешенную информацию о дисперсии по всем полосам в наборе необработанных данных. Такой анализ позволяет отличить участки с дефектами тканей от здоровых.

 

Когда плод повреждается, клеточные стенки разрушаются, и в этом месте повышается влажность. Вода поглощает множество полос света в диапазоне SWIR. Это поглощение позволяет визуализации SWIR видеть синяки, которые не обнаруживаются с помощью камер видимого диапазона. Здесь анализ преобразования минимальной доли шума (MNF) оценивает комбинацию изображений с длиной волны SWIR, чтобы найти лучший способ представить себе яблоко «Golden Delicious». Источник: Обнаружение ранних синяков на яблоках с помощью гиперспектральных данных и тепловизионных изображений, Journal of Food Engineering.

 

Слишком много мультиспектральных данных? Добавьте ИИ.

Даже несмотря на то, что существует оптимизация данных за счет использования мультиспектрального решения вместо гиперспектрального изображения, это не означает, что это на самом деле просто. Есть еще много подходящих полос пропускания, которые следует учитывать. Исследования показали, что некоторые полосы имеют корреляционную ценность. Это может быть очень полезно, когда мы используем данные для вывода другого неизмеряемого качества (например, SSC, описанного ранее).

Насколько это может быть сложно? Чтобы измерить только плотность клубники, вы можете использовать 19 прерывистых длин волн (405, 435, 450, 470, 505, 525, 570, 590, 630, 645, 660, 700, 780, 850, 870, 890, 910, 940 и 970 нм)!

В то время как исследователи уже применяли нейронные сети для проверки качества пищевых продуктов еще в 2002 году.

Как и все, что связано с практическим применением машинного обучения и искусственного интеллекта, эта область быстро меняется. Несколько исследовательских групп стремятся объединить наборы мультиспектральных данных с различными подходами к обучению нейронной сети, чтобы получить результаты точности, которые не уступают, если не лучше, чем современная обработка в реальном времени.

 

Блок-схема использования нейронной сети для оценки яблок на наличие ушибов. Быстрое обнаружение и визуализация небольших ушибов на яблоках с помощью гиперспектральной визуализации, Международный журнал пищевых свойств.

 

Нейронные сети будут становиться умнее. Распространенные алгоритмы, такие как обратное распространение, означают, что сети могут учиться самостоятельно, опережая то, чему мы можем их научить с ограниченными наборами данных. С нетерпением ждем времени в будущем, когда системы контроля пищевых продуктов смогут быстро выдавать почти безупречно точные результаты, и мы не будем точно знать, как они это делают!

 


Teledyne DALSA Tech в производстве пищевых продуктов

Камеры линейного сканирования SWIR GigE компании Teledyne DALSA оснащены ультрасовременным датчиком InGaAs в компактном корпусе для широкого спектра применений машинного зрения.

Эта высокоскоростная камера с высоким разрешением - первый продукт в семействе SWIR компании DALSA. Linea SWIR представляет собой ультрасовременный датчик InGaAs в компактном корпусе, который подходит для самых разных приложений. Обладая исключительной чувствительностью и низким уровнем шума, эта камера позволяет покупателям видеть свою продукцию как никогда раньше. Linea SWIR доступна в виде камеры с разрешением 1k с высокочувствительными пикселями 12,5 мкм или камеры с 512-разрешением и более крупными пикселями 25 мкм.

Как и все модели Linea, Linea SWIR отличается высоким качеством сборки и расширенными функциональными возможностями, которые являются частью непревзойденного наследия линейного сканирования Teledyne DALSA. Linea SWIR обладает функциями, облегчающими работу с машинным зрением, в том числе высокой скоростью, высокой чувствительностью, циклическим режимом и программируемыми входами / выходами. Универсальная камера Linea SWIR идеально подходит для таких применений, как оптическая сортировка, проверка полупроводников и машинное зрение общего назначения.

Нажимая кнопку "Отправить", я даю согласие на обработку моих Персональных данных.