Компьютерное зрение и обработка изображений


Обработка медицинских изображений

Наша компания принимает участие в ряде проектов в сотрудничестве с Самарским Государственным Медицинским Университетом. Один из таких проектов «Автоплан» - система планирования и контроля хирургической операции, в рамках которого мы разрабатывали комплекс алгоритмов построения трехмерных анатомических моделей на основе DICOM данных от КТ-сканера:

  • Автоматическая сегментация печени, селезенки, почек 
  •  Автоматическая сегментация сосудов
  • Автоматическая сегментация костных тканей 
  • Инструменты редактирования трехмерных моделей  

  

Трекинг объектов, регистрация и дополненная реальность

С помощью разработанной стереокамеры был сознан механизм совмещения модели с объектами на видео (регистрация) и построение дополненной реальности в хирургической операционной. Были использованы методы трекинга ИК маркеров для получения координат ключевых точек объектов и методы совмещения облака точек, полученных от ToF камеры с моделью объекта. Решены проблемы точности и скорости совмещения реальных и виртуальных объектов В результате была построена хирургическая навигационная система, которая используется для проведения операций в Самарском Областном Онкологическом Центре

Применение сверточных нейронных сетей для классификации изображений

На основе конфигурации LightNet разработана оригинальная собственная конфигурация нейронной сети, позволяющая быстро и точно классифицировать лица по фотографии. При этом на одну операцию классификации уходит не более 0,5 сек и 250 mflops, что позволяет использовать эту нейронную сеть  на мобильном устройстве, без GPU. Размер лица на фото должен быть не менее 128 на 128. Точность детектирования 0,98.  Демонстрация результатов доступна по запросу.

На основе AlexNet разработана конфигурация светрочной нейронной сети для детектирования гемангиом (злокачественные новообразования) в печени по графическим данным, получаемым от компьютерного томографа. Сеть позволяет сегментировать новообразования и получить в итоге трехмерную модель с метрикой VOE = 85% относительно эталонной сегментации новообразований, что весьма неплохо для данной задачи и идет вровень с последними публикациями по этой тематике.

На основе  AlexNet разработан детектор брендов, по фотографиям магазинных полок.

 


Big Data