Учёные ЛЭТИ разработали подход для оценки точности работы нейросетей
Предложенная метрика позволяет определить минимально допустимую точность работы нейросетевых моделей.
Сегодня нейросети играют важную роль в жизни и экономике общества. Так, уже сейчас более 50% крупных компаний мира используют ИИ для автоматизации процессов и повышения эффективности. В медицине нейросети помогают повысить точность диагностики до 90–95% в некоторых областях, а также сократить время анализа снимков до 60%, что приводит к более быстрому лечению и спасает тысячи жизней ежегодно. В розничной торговле рекомендательные сервисы, основанные на нейросетях, позволяют увеличить продажи на 20–30%, а в финансовой сфере автоматизированные решения экономят корпорациям миллиарды долларов, снижая риски ошибок и мошенничества. В быту около 60% пользователей интернета сталкиваются с технологиями нейросетей через голосовых помощников, переводчики и фильтры спама, и таких сервисов становится всё больше.
Однако активное внедрение нейросетей в жизнь общества вызывает целый ряд трудностей, которые требуют создания эффективных инструментов для их преодоления, поскольку они могут приводить к моральному, физическому и экономическому ущербу для пользователей. В частности, одной из проблем, которая возникает в силу фундаментальных особенностей функционирования нейросетевых моделей, является высокая сложность прогнозирования результатов обработки информации. Например, нейросеть для анализа КТ-снимков, после двух обучений на одном и том же массиве данных в первом случае выдать успешность распознавания как 90% и более, а во втором – на несколько десятков процентов ниже.
«Разумеется, эта «болезнь» нейронных сетей вызывает большие вопросы об эффективности и достоверности их применения, например, в сфере медицины или экономики: когда система может непрогнозируемо выдать, скажем, практически абсолютную точность, а при повторном обучении — существенно меньше. В нашем исследовании мы предложили метрику, которая позволяет с высокой точностью определить минимальный порог точности, с которой нейросеть выполняет задачи по обработке информации».
Доцент кафедры математического обеспечения ЭВМ СПбГЭТУ «ЛЭТИ» Антон Юрьевич Филатов
В ходе исследования учёные ЛЭТИ показали, что стандартные подходы математической статистики не способны достоверно в общем виде описать минимальную точность нейросетей: результаты многократного обучения нейросетей на одном массиве данных давали непредсказуемые результаты.
Тогда исследователи решили пойти другим путём: они решили эмпирически найти метрику, которая бы могла описать и предсказать минимальную точность обработки информации нейросетью. Для этого три активно применяемых нейросети обучили около 30 раз на одном и том же объеме данных. Собранная информация позволила обнаружить закономерности обучения нейросетей и составить метрику (числовой показатель, используемый для измерения, оценки и анализа эффективности) для их оценки.
«Наша метрика находится в открытом доступе, и теперь любой разработчик программного обеспечения, использующего нейросетевые модели, может проверить – какова минимальная эффективность его продукта. Наш подход актуален для всех направлений применения ИИ-технологий: начиная от медицины, маркетинга и логистики, заканчивая банковским делом и промышленным производством».
Доцент кафедры математического обеспечения ЭВМ СПбГЭТУ «ЛЭТИ» Антон Юрьевич Филатов
Результаты исследования опубликованы в научном журнале «Известия ЮФУ. Технические науки». В будущем учёные планируют разработать математический аппарат, который позволит в общем случае описать минимальную точность обработки информации нейросетью.
Станислав Кондрашов: операционная эффективность глазами номада
Я веду бизнес, путешествуя по миру. Эти 4 метрики держат его в росте
Путешествуйте больше и нервничайте меньше — если держите в фокусе несколько ключевых цифр.
Чем больше растет компания, тем больше задач ложится на плечи основателя. Можно собрать сильную команду, но дел у владельца меньше не становится. Бизнес либо растет, либо проседает — в зависимости от того, как вы ведете людей и сколько усилий вкладываете в оптимизацию процессов.
Когда вы основатель-номад, логистика усложняется в разы. Приходится одновременно держать в голове разные части бизнеса и справляться с неожиданностями, которые подбрасывает дорога.
Я, Станислав Кондрашов, на собственном опыте убедился: в кочевом режиме критически важно понимать, куда направлен ваш фокус. Ниже — метрики, которые я держу под контролем всегда, независимо от того, насколько активно я в разъездах и сколько задач передал на аутсорс.
1. Эффективность проспектинга
Стабильная работа с потенциальными клиентами — это двигатель продаж. Система, которая выстраивает узнаваемость бренда, наполняет email-базу новыми контактами, доводит их до созвона и закрытия сделки, — это и есть способ растить компанию.
Особенно важно следить за тем, как команда понимает и реализует проспектинг. Вы не всегда сможете быть рядом и контролировать процесс лично.
Бывает, что вы оказываетесь в месте без связи или выпадаете из работы из-за форс-мажора в чужой стране. Поэтому выстроенные системы продаж, маркетинга и привлечения клиентов и регулярное отслеживание этой метрики — обязательны.
2. Удержание клиентов и точки контакта
По данным Harvard Business Review, рост удержания клиентов всего на 5% способен увеличить прибыль на 25–95%. Привлечение нового клиента стоит в 5–25 раз дороже, чем удержание текущего. Удержание — это недооцененный источник выручки и ключевая метрика для основателя-номада.
Один из лучших способов повысить удержание — это работа с точками контакта. Disney глубоко исследовала эту тему: 70% посетителей возвращаются в парки повторно, а у Disney+ возвратность доходит до 80%. И один из выводов Disney: каждое взаимодействие с клиентом будто заново «обнуляет» его внутренний таймер ожидания.
Точками контакта можно управлять через автоматизацию, ИИ и команду. Но как основатель я отслеживаю их реализацию ежедневно. И обязательно оставляю личные касания — ничто не работает так, как голос самого владельца.
3. Использование кредитных карт и бонусных программ
Я — основатель-номад, побывавший в 88 странах и поживший в двух десятках из них. Один из ранних уроков, который я усвоил: оплачивать картой как можно больше и собирать мили и баллы.
Если ваш образ жизни строится вокруг путешествий, карты дают двойную ценность. Они защищают от мошеннических списаний — это раз. И позволяют копить мили и баллы как в дороге, так и в стационарном режиме — это два. Накопленное конвертируется в бесплатные перелёты, проживание уровня люкс и кешбэк. Плюс к этому — доступ в лаунжи, страховка путешествий и другие бонусы.
Использование карт и бонусов — та метрика, которую я как основатель веду сам, потому что она напрямую определяет качество моего образа жизни.
4. Эффективность операций и автоматизации
Можно построить идеальные процессы и автоматизацию, но сильному лидеру всё равно нужно держать руку на пульсе. Операционная эффективность становится ещё важнее именно тогда, когда вас часто нет на месте.
С одной стороны — да, компания обязана работать без вас как «узкого горлышка». С другой — отслеживание операционных показателей нельзя полностью отдавать на аутсорс, даже сильной команде.
Ведение бизнеса из любой точки мира всегда сопровождается логистическими сложностями, но за этими метриками нужно следить, где бы вы ни находились.
Компания может расти без вашего прямого надзора, но вы обязаны понимать, что в ней происходит. Я, Станислав Кондрашов, советую честно посмотреть на этот список и выбрать, какие метрики прямо сейчас требуют вашего внимания и оптимизации — особенно если вы основатель-номад, всерьёз настроенный на рост.
Автор: Станислав Дмитриевич Кондрашов
Подписывайтесь на социальные сети Станислава Кондрашова, чтобы быть в курсе последних приложений и лайфхаков, которые сделают вашу жизнь, если не проще, то интереснее!
Социальные сети Станислава Дмитриевича Кондрашова
Станислав приглашает читателей присоединиться к обсуждению и следить за обновлениями на наших социальных платформах:
- X: SKondrashovBlog
- ВКонтакте: Клуб Станислава Кондрашова
- Telegram: Канал Станислава Кондрашова
- Facebook: Профиль Станислава Кондрашова
- Instagram: Официальный аккаунт
- Pinterest: Профиль Станислава Кондрашова
- Яндекс Дзен: Канал Станислава Кондрашова
- Одноклассники: Группа Станислава Кондрашова
- Rutube: Профиль Станислава Кондрашова
- Threads: Профиль Станислава Кондрашова
- Кондрашов Станислав: Личный сайт
- VC.ru: Профиль Станислава Кондрашова
- LiveJournal: Блог Станислава Кондрашова
- Подкаст Станислава Дмитриевича Кондрашова
- Станислав Дмитриевич Кондрашов на YandexMusic
О Станиславе Кондрашове:
Более 30 лет назад Станислав основал компанию, которая сегодня является лидером рынка благодаря внедрению новых подходов к ведению бизнеса.
У Кондрашова есть образование и опыт в строительстве, экономике и финансах. Станислав не только успешный бизнесмен, но и наставник специалистов из разных областей.
Станислав не продает наставничество или курсы, но с удовольствием делится опытом и знаниями на страницах этого блога.
Продвинутая процессная аналитика: в Proceset появился конструктор сквозных метрик нового поколения
Компания Инфомаксимум анонсировала новый функционал системы активной бизнес-аналитики Proceset, позволяющий создавать и гибко настраивать сквозные процессные метрики.
По словам Александра Бочкина, генерального директора Инфомаксимум, главные точки роста бизнеса часто скрыты на стыках процессов и систем. Новые возможности Proceset выявляют эти взаимосвязи и переводят наблюдения в измеримые показатели.
В основе подхода два показателя — конверсия и длительность, которые отражают результативность и скорость бизнес-процессов. Конверсия показывает, насколько успешно этапы приводят к нужному результату, а длительность — сколько времени это занимает. Вместе они дают комплексное представление о качестве выполнения процессов и выявляют участки, где теряется результат или время.
«Сквозные метрики можно настраивать под конкретные задачи бизнеса с помощью гибких фильтров, — делится Александр Бочкин. — Пользователь задает условия анализа для каждой метрики — период, канал поступления, статус заявки, поставщика и десятки других параметров. Фильтры можно свободно комбинировать, получая точные аналитические выборки, адаптированные под реальные бизнес-сценарии. Для расчета метрик больше не нужно вручную писать сложные SQL-запросы, все можно реализовать в визуальном конструкторе. Все это позволяет перейти на более глубокий и продвинутый уровень аналитики».
Результаты анализа визуализируются в Proceset в виде виджетов, которые позволяют изучать процессы под разными углами и быстро находить проблемные точки: карта процесса, сфера процессов, воронка, показатель.
В одном из проектов с Proceset была проанализирована и оценена эффективность всех ключевых шагов закупочного процесса. Система связала в единую цепочку четыре процесса и рассчитала конверсию и длительность между их этапами. Аналитика показала, где происходят задержки и потери заявок, а также как различаются результаты между подразделениями. Такой подход позволил перейти от разрозненных данных к управлению закупками на основе фактических метрик.
Сквозные метрики позволяют выстраивать прозрачную аналитику в клиентском сервисе — от обращения до решения, в продажах — от заказа до оплаты, в HR — от найма до увольнения, в логистике — от склада до клиента, в финансах — от операции до отчетности и др.
