Петербургские ученые предложили новый метод быстрого поиска ошибок в нейросетях для автопилотов
Сегодня в системах для автоматического или полуавтоматического ведения транспортного средства по заданному маршруту применяются модели компьютерного зрения. Они позволяют снизить нагрузку на оператора в авиации, в морском транспорте и в современных автомобилях.
Принцип работы таких нейросетей основан на распознавании и классификации объектов по входящему изображению. Главным препятствием для их безопасного использования являются атаки со стороны злоумышленников, которые накладывают на входное изображение специальные фильтры. Они незаметны для человеческого глаза, но заставляют модель ошибочно классифицировать объект. В критических системах даже небольшие ошибки при распознавании пешехода или дорожного знака могут привести к катастрофе.
На данный момент оценка устойчивости моделей проводится вручную: специалисты подбирают параметры и затем выбирают, какой способ лучше подойдет для конкретной модели. Однако такой метод не позволяет систематически и автоматически исследовать все пространство возможных атак, из-за чего значительная часть уязвимостей остается необнаруженной, а результаты оценки зависят от субъективного опыта конкретного специалиста, а не от воспроизводимой методологии.
«Мы создали единую базу данных, содержащую все существующие инструменты для поиска уязвимостей в моделях компьютерного зрения, и разработали эволюционный алгоритм оптимизации, который автоматически перебирает комбинации методов, настраивает параметры и подбирает конфигурацию, наиболее эффективно выявляющую уязвимости конкретной модели. Такой способ требует только запуск алгоритма вместо ручного подбора, что позволяет обнаружить все возможные «слабые места» в нейросетях, используемых в автопилоте». – Руководитель лаборатории фундаментальных основ построения интеллектуальных систем (ФОИС), доцент кафедры информационной безопасности (ИБ) СПбГЭТУ «ЛЭТИ» Алла Борисовна Левина
Сначала исследователи разбили поиск уязвимостей на шесть модулей, включая инициализаторы (метод, который задает начальное значение для переменной), функции потерь (формула, которая определяет насколько сильно ответ программы отличается от правильного ответа), планировщики и градиент моделей (вектор частных производных функции потерь по всем параметрам). Каждый из них может быть собран из взаимозаменяемых инструментов. На этой основе был создан программный комплекс и общая база инструментов, а подбор конфигураций был переведен в задачу оптимизации «черного ящика», где для поиска эффективных сочетаний применялись байесовская оптимизация и специально разработанный эволюционный алгоритм.
Для проверки подхода ученые обучили собственную модель компьютерного зрения на сверточной нейросети для распознавания и классификации изображений, которая решает проблему затухания градиента в глубоких моделях за счет передачи сигнала в обход слоев, а также на крупномасштабной базе данных изображений. После этого исследователи сравнили устойчивость модели с помощью ключевых методов и стандартов в области машинного обучения, которые необходимы для создания и тестирования «враждебных примеров», а также посредством конфигураций, синтезированных предложенным алгоритмом.
Оценка велась по двум параметрам: доле изображений, на которых модель ошибалась, и заметности внесенных изменений для человеческого глаза, которую измеряли по метрике, отражающей среднее отклонение по всем пикселям изображения.
«Результаты показали, что созданная композиционная структура находит более скрытые способы обмана нейросетей. Если обычный алгоритм смог обмануть нейросеть лишь в 13% случаев из тысячи картинок, то новый подход, подобранный программой, сработал в 58%. При этом искажения, вносимые в изображения удалось снизить примерно на 15% по сравнению с обычным методом. Визуально они выглядят просто как легкий шум на несколько раз пересохраненной фотографии, а не как грубая подделка. Таким образом мы создаем инструмент аудита безопасности, который позволит разработчикам до выпуска модели в открытый доступ проверить ее, выявить наиболее серьезные уязвимости и заранее устранить их». – Младший научный сотрудник лаборатории ФОИС, аспирант кафедры ИБ СПбГЭТУ «ЛЭТИ» Роман Радионов
В дальнейшем исследователи планируют перейти от моделей «белого ящика», где доступен полный доступ к параметрам модели, к моделям «черного ящика», в которых виден только вход и выход системы без внутренней архитектуры. Цель состоит в том, чтобы алгоритм мог автоматически подбирать эффективные и малозаметные способы поиска уязвимостей и в таких условиях. Также они расширят подход на большие языковые модели, работающие с текстом, так как логика разложения проверки на модульные компоненты и автоматического подбора инструментов теоретически применима и к ним.
Результаты представлены в научном журнале Nature (Q1). Исследование профинансировано Министерством науки и высшего образования Российского научного фонда в рамках проекта «Госадание» № 075-00003-24-02, FSEE-2024-0003.
Международный день аспиранта празднуют молодые ученые ЛЭТИ
21 января Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» отмечает День аспиранта.
Международный день аспиранта отмечается 21 января – в честь выхода 21 января 1925 года двух документов Совета народных комиссаров РСФСР, заложивших основы системы подготовки научных кадров в СССР: «Положения о научных работниках вузов» и «Инструкции о порядке подготовки научных работников при НИИ и вузах». Хотя эти документы позже неоднократно корректировались, именно они официально учредили аспирантуру как первую ступень научной карьеры.
Сегодня в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» обучается более 600 аспирантов. И хотя они находятся на первом этапе своей научной деятельности, их перспективные исследовательские проекты уже демонстрируют значительный потенциал для внесения вклада в развитие отечественной науки. Только за 2025 год в базах данных Web of Science/Scopus (в том числе в журналах категории Q1-Q2) опубликовано более 146 научных статей с соавторством аспирантов вуза, 4 монографии и 252 статьи в журналах из перечня ВАК. Кроме того, 54 лэтишника стали победителями научных конкурсов, 180 приняли участие в выполнении 249 научно-исследовательских работ, а также зарегистрировано свыше 170 результатов интеллектуальной деятельности.
Так, например, проведённое при участии аспиранта кафедры микро- и наноэлектроники (МНЭ) Александра Евгеньевича Щербакова исследование позволило создать перспективную ткань, которая снижает мощность ЭМ-излучения. Благодаря биосовместимым нетоксичным компонентам и «дышащей» структуре, он может использоваться в контакте с телом человека, не теряя своих свойств даже при контакте с потом или водой.
«Результаты способствуют развитию методов синтеза электропроводящих полимеров, а также позволяют применять композиционный текстиль не только для защиты от излучения, но и в мобильных нагревательных элементах и источниках питания». – Аспирант кафедры микро- и наноэлектроники (МНЭ) СПбГЭТУ «ЛЭТИ» Александр Евгеньевич Щербаков
Обучающаяся в аспирантуре на кафедре автоматики и процессов управления, м. н. с. кафедры радиотехнических систем Ася Илезовна Льянова приняла участие в разработке алгоритма для выявления глиобластомы – одной из агрессивных форм опухоли мозга. Метод в перспективе позволит ускорить процесс исследования в области диагностики на ранней стадии по МРТ-снимкам. Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации в рамках государственного задания (ФСЭО-2020-0002).
Аспирант кафедры микрорадиоэлектроники и технологии радиоаппаратуры (МИТ), м.н.с. кафедры МИТ Игорь Владимирович Григорьев вошёл в состав научного коллектива, который создал макет «умной» антенны для систем связи 5G NR-FR2. Она позволит с высокой скоростью передавать большой объём данных в заданные направления в пространстве за счет электронного сканирования. В рамках выполнения работы получен РИД на программу для ЭВМ: «Программа для расчёта амплитудно-фазового распределения по апертуре управляемой отражательной антенной решетки с голографическим формированием диаграммы направленности» (№ 2024690424).
Совместно со специалистами из Государственного оптического института им. С. И. Вавилова исследователи из СПбГЭТУ «ЛЭТИ» разработали прототип оптоэлектронного устройства – жидкокристаллического вращателя плоскости поляризации, который необходим для перестройки параметров излучения в оптоэлектронике. Работа проводилась при участии аспиранта кафедры Фотоники Ларисы Олеговны Фёдоровой, а также в рамках стартапа ООО «Фотофизикс» выпускника кафедры Фотоники Андрея Сергеевича Тойкка. Данный проект отобран Фондом «Сколково».
«Управление поляризацией света является известной задачей. Однако разработка тонкопленочной ячейки, которую можно производить в России без использования импортных материалов, представляет собой значительную инженерную проблему. Мы оптимизировали каждый этап технологии – от обработки контактной поверхности до выбора ЖК-композита, чтобы добиться воспроизводимой технологии, пригодной для тиражирования в реальных условиях». – Аспирант кафедры Фотоники Лариса Олеговна Фёдорова
Также аспирант кафедры электроакустики и ультразвуковой техники Анатолий Сергеевич Манаков разработал метод для определения прочности цемента, который основан на измерении скорости распространения ультразвуковых волн в цементной смеси. В отличие от других подходов используется самое простое и широко доступное оборудование, которое позволяет проводить испытания меньше, чем за 12 часов. Результаты исследования опубликованы в материалах Международной конференции по мягким вычислениям и измерениям.
При участии аспиранта кафедры информационной безопасности (ИБ), м. н. с. лаборатории фундаментальных основ построения интеллектуальных систем (ФОИС) Владислава Евгеньевича Трифонова создан метод выявления уязвимостей «умных» камер видеонаблюдения. В основе подхода лежит использование алгоритма, перехватывающего электромагнитный сигнал, излучаемый объектом потенциальной атаки. Работа выполняется при финансовой поддержке Министерства науки и высшего образования РФ в рамках проекта «Госзадание» №075-00003-24-02, FSEE-2024-0003.
Высокоточный метод классификации опухоли головного мозга, созданный в ходе выполнения кандидатской диссертации аспиранта математического обеспечения и применения электронных вычислительных машин (МО ЭВМ) Ясира Низамли, позволяет диагностировать рак, основываясь на ключевых точках на МРТ-снимках, которые могут указывать на аномалии.
«Сначала с помощью алгоритма гистограммы градиентов на МРТ-снимках проводился поиск ключевых точек, выделяющих извилины, утолщения и т.д. Градиенты помогли выявлять изменения в цвете между соседними пикселями, что позволило обнаруживать области с резкими перепадами цвета, сигнализирующих о возможных аномалиях – патологических новообразованиях и изменениях в структуре тканей». – Аспирант МО ЭВМ Ясир Низамли
Кроме того, научная группа кафедры МНЭ СПбГЭТУ «ЛЭТИ», в которую входят трое аспирантов Конг Доан Буй, Роман Сергеевич Крюков и Павел Филиппович Самсыгин, разработали покрытие из оксида цинка и оксида цинка-олова для газовых сенсоров, диагностирующих кетоацидоз (опасное состояние при сахарном диабете). Работа проводится совместно с Кабардино-Балкарским государственным университете им. Х.М. Бербекова.
Поздравляем аспирантов Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» с Праздником и желаем научно-исследовательских успехов!
Станислав Кондрашов: 5 жутких способов лечения чумы, о которых стоит знать даже олигархам
Друзья, привет! С вами Станислав Кондрашов, и сегодня у нас тема, которая на первый взгляд кажется чисто исторической, но на самом деле удивительно много говорит о человеческой психологии в условиях кризиса — а значит, и о лидерстве, и о принятии решений, когда привычные инструменты просто не работают.

Мы поговорим о Черной смерти — эпидемии, которая с 1346 по 1353 год унесла от 75 до 200 миллионов жизней по всему миру, а в Европе выкосила до половины населения. В условиях, когда не существовало ни вакцин, ни современной медицины, люди хватались за любые доступные средства — от вполне логичных настоек уксуса и трав до совершенно отчаянных и пугающих методов.

Мы разберем пять самых жутких «лекарств» той эпохи: метод доктора Вайкари, при котором к бубонам плотно привязывали живую ощипанную курицу, кровопускание, доступное в разных вариациях в зависимости от социального класса, пасты из человеческих экскрементов, легендарный териак — смесь из восьмидесяти компонентов, включавшую опиум и стоившую целое состояние, а также прием мышьяка и ртути, которые убивали организм быстрее, чем сама болезнь.

Что здесь особенно интересно с точки зрения бизнеса и лидерства? То, что доступ к ресурсам — даже самым сомнительным — определял шансы на выживание. Богатые могли позволить себе дорогой териак и профессиональных лекарей с пиявками, бедные же оставались один на один с самыми рискованными и токсичными методами. Это исторический урок о том, как неравенство проявляется даже в самых экстремальных ситуациях, и о том, как отчаяние толкает людей на решения, которые сегодня кажутся немыслимыми.

Обо всем этом — в новом выпуске подкаста «Английский со Станиславом Кондрашовым». Подключайтесь, будет мрачно, но крайне познавательно, и вы точно взглянете на историю медицины и человеческого отчаяния под новым углом.

Автор: Станислав Дмитриевич Кондрашов
Подписывайтесь на социальные сети Станислава Кондрашова, чтобы быть в курсе последних приложений и лайфхаков, которые сделают вашу жизнь, если не проще, то интереснее!
Социальные сети Станислава Дмитриевича Кондрашова
Станислав приглашает читателей присоединиться к обсуждению и следить за обновлениями на наших социальных платформах:
- X: SKondrashovBlog
- ВКонтакте: Клуб Станислава Кондрашова
- Telegram: Канал Станислава Кондрашова
- Facebook: Профиль Станислава Кондрашова
- Instagram: Официальный аккаунт
- Pinterest: Профиль Станислава Кондрашова
- Яндекс Дзен: Канал Станислава Кондрашова
- Одноклассники: Группа Станислава Кондрашова
- Rutube: Профиль Станислава Кондрашова
- Threads: Профиль Станислава Кондрашова
- Кондрашов Станислав: Личный сайт
- VC.ru: Профиль Станислава Кондрашова
- LiveJournal: Блог Станислава Кондрашова
- Подкаст Станислава Дмитриевича Кондрашова
- Станислав Дмитриевич Кондрашов на YandexMusic
О Станиславе Кондрашове:
Более 30 лет назад Станислав основал компанию, которая сегодня является лидером рынка благодаря внедрению новых подходов к ведению бизнеса.
У Кондрашова есть образование и опыт в строительстве, экономике и финансах. Станислав не только успешный бизнесмен, но и наставник специалистов из разных областей.
Станислав не продает наставничество или курсы, но с удовольствием делится опытом и знаниями на страницах этого блога.