«Создавать высокие технологии за маленькие деньги просто невозможно»

Стартап с ограниченными возможностями

Одним из участников конкурса в совместном проекте Indicator.Ru и Координационного совета по делам молодежи в научной и образовательной сферах Совета при Президенте Российской Федерации по науке и образованию «Я в науке» на форуме «Открытые инновации» стал директор АНО «Лаборатория "Сенсор-тех"» Денис Кулешов. В интервью нам он рассказал о том, как дать людям «новое зрение», почему в России сложно внедрять импланты и где в глазу можно увидеть фосфены.

— Вы занимаетесь созданием устройств, которые помогают слабослышащим и слепым людям. Как вы пришли в сферу социальных инноваций?

— Я пришел в нее постепенно. Еще во время учебы в университете меня пригласили в Центр ресурсной поддержки глухих студентов в Бауманке. Там я начал погружаться в мир технологий для людей с инвалидностью, особенно для студентов. Постепенно количество людей в проектах начало расти, мы вместе с партнерами основали несколько некоммерческих организаций. Последнее время моя работа сосредоточена в лаборатории «Сенсор-Тех». Это тоже НКО, которое помог учредить фонд «Со-единение». Здесь мы занимаемся тем, что создаем различные гаджеты, программы, которые помогают слепым и глухим, проводим исследования.

— Расскажите о вашем первом проекте в области медицины. С чего вы начинали?

— Лаборатория «Сенсор-Тех» — это очень крупный инженерно-медицинский проект. С самого начала, в 2017 году, мы организовывали операции по установке имплантов сетчатки двум слепоглухим пациентам. В это были вовлечены партнеры: благотворительный фонд «Искусство, наука и спорт», Научно-клинический центр оториноларингологии, производители имплантов из Америки. В короткие сроки нужно было найти пациентов, которые удовлетворяют всем критериям, организовать доставку самих имплантов. Также понадобилось провести процесс реабилитации, который занимает много месяцев.

— Расскажите поподробнее про эти импланты: как они работают, куда их вживляют? Это кортикальные импланты?

— Я уточню: этот проект был по ретинальным имплантам. Кортикальные ставятся в головной мозг (от латинского слова cortex — кора), а ретинальные — в сетчатку. Их ставят невидящим людям, у которых сетчатка (на латыни — retina) потеряла способность воспринимать свет. Из-за этого необходимые биохимические процессы в их глазах не происходят, и информация не передается по глазному нерву в головной мозг. Такое происходит, например, при заболевании под названием пигментный ретинит.

Как же работают импланты? Они используют изображение с видеокамеры, встроенной в специальные очки. Картинка обрабатывается небольшим компьютером, который человек носит на поясе, и конвертируется в изображение разрешением в 60 пикселей. В таком формате она направляется в глаз, где установлен имплант — чип с 60 электродами. Этот чип стимулирует оставшиеся живые клетки сетчатки. И через несколько месяцев реабилитации человек уже может видеть этим «новым зрением».

Эта технология работает благодаря пластичности нашего мозга, его умению перестраиваться. Конечно, с помощью всего 60 электродов можно распознать только очень крупные объекты: дверные проемы, окна, автомобили. Зрение у людей с такими имплантами черно-белое, и оно хорошо работает с контрастными объектами, когда нужно найти что-то белое на черном фоне, например тарелку на темной скатерти. Но вот какой-то светлый упавший предмет на светлом полу будет не так заметен.

— Почему не получается передавать и другие цвета, не только черный и белый?

— Мы проводили исследование, в котором изучали, что и как видят наши пациенты, и даже опубликовали статью на эту тему. Мы включали каждый электрод по очереди и просили пациентов зарисовать, какого цвета и какой формы вспышки они в этот момент видят. По-научному эти вспышки называются «фосфены». При активации разных электродов из числа этих 60 форма фосфенов может быть совершенно разной, но обычно она похожа на что-то продолговатое или округлое. В большинстве случаев вспышки цветные, все они относятся к одному диапазону: сиреневые, серые или бежевые оттенки. Но человек с такими нарушениями зрения эти цвета все равно не может различить, потому что у него просто нет клеток сетчатки, которые за это отвечают, эти клетки мертвы. Зато есть восприятие черного и белого цветов. Пока не существует объективных методов, которые помогли бы описать, что конкретно происходит в мозге человека в этот момент.

Но мы создали VR-симулятор, который позволяет посмотреть на мир глазами человека с разными нарушениями зрения, основываясь на клинических данных. В том числе там есть идеализированная симуляция бионического зрения. Приложение называется SMW Pro, можно просто скачать его на телефон и увидеть, с чем каждый день сталкиваются люди с разными болезнями глаз.

— Что может влиять на форму, размер и восприятие фосфенов?

— Каждая операция уникальна, и каждый организм по-разному реагирует на установленные импланты. Из всех проведенных операций и опубликованных статей пока нельзя вывести общую четкую формулу, чтобы описать, что эти пациенты видят так или иначе. Есть много физиологических параметров, которые на все это влияют. Сама сетчатка, особенно пораженная, не всегда представляет собой ровную поверхность. Бывает, например, с изгибами. И в разных местах такой сетчатки будет разное расстояние до электродов, и, соответственно, до нейронов.

Большое влияние оказывает и зрительный опыт пациентов, так как они не родились слепыми, они ими стали. Поэтому, когда человек находится на улице, он по очертаниям будет понимать, что перед ним. Например, он понял, что рядом дерево. Когда пациент начинает думать об этом, его мозг может добавить красок и цвета, так как он помнит, что у деревьев зеленые листья. То есть, несмотря на совершенно новые условия (установленные импланты), мозг будет опираться и на ту информацию, которая в нем уже есть. Когда пациент понимает, что смотрит на небо, а не на потолок, мозг будет добавлять голубой цвет, хотя в реальности небо может быть и не голубым. Все дело в предыдущих переживаниях человека. Почему так происходит — отдельная огромная наука.

— Вы и сейчас продолжаете заниматься этим проектом?

— Мы поддерживаем контакты с нашими пациентами, постоянно зовем их на какие-то мероприятия, на различные семинары и конференции, приглашаем принять участие в научных экспериментах, которые мы проводим. Но для большинства экспериментов нужно иметь большую выборку пациентов, а пока у нас всего два подходящих человека. Этого мало для хорошей статистической мощности.

— А что мешает набрать больше пациентов, стоимость операции и имплантов?

— Мы столкнулись с двумя проблемами. Во-первых, импланты не были зарегистрированы в России как медицинское изделие, а все, что ставится пациентам, должно иметь регистрацию. Процедура оформления очень длинная и занимает несколько лет. С такой инвазивной сложной технологией нужны клинические испытания, которые доказывают государству, что она безопасна, эффективна и ее можно использовать. И конечно, влияет стоимость. Такая операция обошлась бы пациенту в десять миллионов рублей, если бы не благотворительные фонды — «Со-единение» и «Искусство, наука и спорт». Без них найти источник финансирования было бы невозможно, ведь на таком раннем этапе никто не вкладывается в подобные проекты.

Но здесь мы смогли и людям помочь, и определенную базу для профессионалов в сфере здравоохранения создать. Дальше Росздравнадзор попросил провести не две, а пять операций для продолжения процедуры регистрации. Но проект начал понемногу вставать на паузу: найти средства трудно, а производители имплантов (американская компания) были не готовы вкладываться финансово, так как не получили гарантии, что протезы будут зарегистрированы.

— Ваша компания занимается и двумя другими технологиями. Я говорю об устройствах «Чарли» и «Робин». Расскажите, на каком этапе сейчас эта работа?

— Да, у нас есть эти два устройства, они помогают людям с нарушениями слуха и зрения. Умный помощник «Робин» с помощью технологий искусственного интеллекта позволяет незрячему человеку ориентироваться в пространстве: определяет предметы, объекты, сообщает расстояние до них и передает эту информацию в наушник пользователю. Гаджет также умеет распознавать лица. Для этого надо всего лишь сфотографировать человека на камеру устройства и присвоить фотографии голосовую метку. Когда лицо человека попадет в объектив, «Робин» назовет его имя. «Робин» умеет определять 50 объектов и предметов. Это число выбрано не случайно: фокус-группа незрячих людей подсказывала нам, что включить в список, чтобы это была действительно нужная информация. В итоге мы обучили нейросеть распознавать бытовые предметы, с которыми человек сталкивается каждый день (посуда, средства гигиены, мебель, домашние животные, компьютер, телевизор и т.д.). А также предметы на улице: автобус, автомобиль, пешеходные переход и другие. Расстояние определяется с помощью вибродатчика, который работает как парктроник на автомобиле: чем ближе человек к препятствию, тем сильнее устройство вибрирует.

Мы много сил и времени потратили, чтобы добиться идеальной работы «Робина» без подключения к интернету, ведь для систем искусственного интеллекта это большая проблема. Даже в больших мегаполисах, в подземке или в здании, можно получить уровень сигнала EDGE, а его уже недостаточно для обработки изображений высокого качества. Независимость от интернета решила и вопрос приватности — ведь не каждый пользователь готов загружать фотографии на устройство, зная, что оно отправит их в облако. С «Робином» об этом не надо беспокоиться, все изображения остаются только внутри. Хочу отметить, что устройство не заменяет белую трость, ведь она помогает определить препятствия под ногами. А «Робин» — это, скорее, умный гаджет-компаньон, он помогает понять, что происходит вокруг: где человек, к которому можно обратиться, где свободное место в автобусе, где нужно обойти припаркованную машину и так далее.

— Понятно. Расскажите про второе устройство: как оно выглядит, как функционирует?

— «Чарли» — это устройство распознавания речи. Умный микрофон, который мы создали, чтобы помочь глухим людям. Он позволяет неслышащему человеку прочитать то, что ему говорят, выводит речь в письменном виде на экран любого устройства (смартфона, компьютера, телевизора). Очень удобная технология, которую можно использовать как дома, для общения с близкими, так и в общественных местах — в МФЦ, банках, больницах, на вокзалах и так далее. «Чарли» позволяет неслышащему без посторонней помощи решать повседневные задачи.

— А насколько доступна эта технология для потребителей?

— Устройство стоит 195 тысяч рублей. Для организаций, которые покупают его, это не такая большая сумма. Мы очень благодарны им за то, что они заботятся о своих слабослышащих и глухих потребителях. Что касается частных лиц, мы очень надеемся, что наши устройства внесут в перечень ТСР (технические средства реабилитации) и люди с инвалидностью смогут получить их бесплатно, за счет государственного бюджета. Мы понимаем, что цена высокая, и переживаем за это, но создавать высокие технологии за маленькие деньги просто невозможно. Из этого и складывается стоимость, это не наша прихоть. Мы также постоянно предлагаем различным регионам пилотные проекты, в рамках которых наши устройства можно закупить и предоставить нуждающимся. Они иногда могут себе это позволить за счет муниципального бюджета. Но чтобы глобально это работало, нужна помощь правительства и профильных министерств.

Источник: Индикатор