Интернет и IT

Генетика, нейросети и Excel - как они связаны

Генетический алгоритм - это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.
Генетика, нейросети и Excel - как они связаны

Генетический алгоритм — это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.

Эволюция в математике

Составление алгоритма начинается с создания реестра моделей — популяции. Причем каждая модель должна быть представлена набором чисел — генов. Этот набор генерируют случайным образом.

Список решений — это и есть популяция. Из нее выбираются самые жизнеспособные модели для следующей популяции. Этот процесс многократно запускается до тех пор, пока не будет найдено оптимальное решение.

Чтобы понять, насколько качественным вышло решение, применяют функцию приспособленности. Например: F-score и точность предсказания. Чем качественнее решение, тем больше шансов, что особь будет отобрана для следующей популяции.

Анализ данных не останавливается на Excel. Пройдите онлайн-курс «Google Таблицы для бизнеса». Научитесь работать с Google Таблицами с любого устройства, синхронизируйте вашу работу с коллегами и интегрируйтесь с Google Forms и Google Analytics.

Основные стадии

После того, как будет создана первая популяция, алгоритм проходит четыре стадии:

1. Отбор.

Смысл отбора в том, чтобы найти самые жизнеспособные модели и передать их гены следующему поколению. Приспособленность — главное качество, по которому отбирают родителей. Причем количество родителей (пар особей) может быть любым, но всегда одинаковым для каждого последующего цикла.

Есть два основных метода отбора::

  • Ранговый. Популяцию делят на несколько рангов (групп). Ранги назначают на базе функции приспособленности. А затем пропорционально отбирают по несколько особей из каждого ранга.
  • Турнирный. Несколько особей выбирают случайным образом. Из отобранной группы выделяют лучших. Процесс повторяют до тех пор, пока не наберут нужное число особей из этой популяции.

У каждого метода свои плюсы. Ранговый помогает сохранить разнообразие особей. Турнирный подходит тогда, когда модели можно сравнивать только попарно, а выражение функции приспособленности числом недоступно. Например, его используют для игровых стратегий.

2. Скрещивание.

На этой стадии происходит обмен информацией между родителями. Из популяции отбирают пары особей и смешивают отдельные фрагменты их хромосом. В результате получается новый набор генов.

Часто применяют метод одноточечного скрещивания — внутри хромосом родителей выбирают случайное место и разделяют каждую из них на две части. Далее эти части меняют местами, а затем новые данные загружают в популяцию.

3. Мутация.

Запускается редко и в случайном порядке переставляет местами числа отдельных генов (например: меняет 1 на 0).

Мутация способствует сохранению разнообразия внутри популяции. При этом степень приспособленности мутировавшей особи может повыситься, а может понизиться.

4. Завершение алгоритма.

Процесс заканчивается тогда, когда новая созданная популяция почти не отличается от предыдущей. Это означает, что полученное решение оптимально.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Генетические алгоритмы или нейросети: что лучше

Алгоритм идеально работает с большим объемом дискретных данных, так как простой перебор занимает на порядок больше времени.

Data scientist Мишель Берк запрограммировал алгоритм расставить в верном порядке буквы зашифрованного предложения: Genetic Algorithms are wild. Алгоритму потребовалось сделать выбор из всех вероятных комбинаций — 2753. У него было 30 особей в популяции, а решил задачу он на 51-м поколении. Для этого ему пришлось проверить 1 530 комбинаций.

Алгоритм может быстро найти кратчайший путь между двумя точками. Поэтому его применяют для построения маршрутов GPS-систем и расчета траектории движения.

Для расчета распространения коронавируса ученые также воспользовались генетическим алгоритмом. На его базе был проведен анализ распространения инфекции в 40 странах мира.

Нейросети лучше работают с непрерывными данными. Так они лучше понимают языки или распознают изображения. А еще нейросети используют для задач линейной регрессии, когда нужно найти зависимость между переменными.

Мы разработали онлайн-курс «Excel для финансов» для тех специалистов, которым нужно быстро и качественно составлять отчеты в Excel. Вы научитесь рассчитывать зарплаты сотрудников, готовить налоговую и финансовую отчетность. После курса ваша работа с данными в Excel станет намного эффективнее.

Алгоритмы и нейросети в симбиозе

Существуют примеры удачного объединения нейросетей и алгоритмов в одной системе.

Так алгоритмы могут оптимизировать функциональность модели. Например: подобрать вес, функцию активации. Но их использование для подбора требует больших затрат времени и вычислительных мощностей. Например: чтобы научить нейросети обыгрывать реальных людей в видеоиграх.

Так в 2017 году OpenAI применила алгоритм, для отбора тех ботов в игру Dota 2, которые выигрывали матчи. А затем они провели обучение нейросетей на основе этих данных.

Узнать подробнее об обучении в геймдеве можно тут.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Хотите узнать больше? Подписывайтесь на каналы и соцсети онлайн-школы robot_dreams:

Начать дискуссию

Общество

👍 Президент подписал закон, упрощающий принятие решений на общих собраниях членов СНТ и ОНТ

Владимир Путин подписал разработанный при участии Росреестра федеральный закон, которым упрощен процесс принятия решений на общих собраниях членов садоводческих (СНТ) и огороднических товариществ.

Патентная активность российских изобретателей выросла на 7%

Более 15 000 заявок на патентование изобретений и полезных моделей подали отечественные разработчики в Федеральную службу по интеллектуальной собственности (Роспатент) с января по июнь 2024 года.

Опубликованы поручения Президента по итогам Петербургского международного экономического форума-2024

Владимир Путин утвердил перечень поручений по итогам ПМЭФ-2024, который прошел 5–8 июня.

Курсы повышения
квалификации

18
Официальное удостоверение с занесением в госреестр Рособрнадзора

Нацбюро кредитных историй назвало средний размер автокредита

По данным кредиторов, передающих сведения в Национальное бюро кредитных историй (НБКИ), в июне 2024 года средний размер выданных автокредитов составил 1,47 млн рублей.

МВД: если поменяли сим-карту, открепите номер от Госуслуг и мобильного приложения

Киберпреступники приобретают старые сим-карты, которые уже были использованы и поступили в повторную продажу.

1
УК РФ

Ответственность за цифровые преступления ужесточат

По результатам деятельности созданной в 2020 году на площадке Генпрокуратуры межведомственной рабочей группы подготовлены проекты федеральных законов об ужесточении ответственности за преступления в цифровой среде.

Опытом делятся эксперты-практики, без воды

Как разработать детальный финансовый план и бюджет для бизнеса

Разработка детального финансового плана и бюджета — ключевой аспект успешного управления бизнесом. Этот процесс помогает предусмотреть финансовые трудности и эффективно распределить ресурсы, обеспечивая устойчивое развитие компании. В данном руководстве вы найдете пошаговый план для создания финансового плана и бюджета.

Инвестиции

Пополнил брокерский счет на 300 000 в июле. Что купил? Часть 2

Заканчивается июль, а вместе с ним и бюджет, который был выделен на инвестиции. В первой половине месяца я покупал чуть меньше акции, чуть больше облигации, а также немного фондов. Во второй половине месяца действовал примерно по тому же плану.

Пополнил брокерский счет на 300 000 в июле. Что купил? Часть 2

Новые функции и улучшения на «Клерке»: обновления за июль. Выпуск #1

В июле представили обновления: сортировка главной страницы одним кликом, новый инструмент для самозанятых, возможность монетизации для авторов в "Трибуне" и продвижение материалов в блогах компаний. Также улучшен сервис "Клерк.Работа" и введены новые функции для Бизнес Аккаунта и личного кабинета.

Новые функции и улучшения на «Клерке»: обновления за июль. Выпуск #1
2
Обзоры новостей

Налог на бездетность, Ивлеева уплатила долг, НДФЛ при манипуляциях с землей в обзоре

Интересные события в налоговой сфере.

Бухгалтеры не видят актуальных данных ЕНС и не могут сформировать электронные подписи в ЛК. 🔨«Ночной бухгалтер» № 1733

Никогда такого не было... Бухгалтеры жалуются, что в личных кабинетах невозможно посмотреть актуальную информацию по сальдо ЕНС. Данные стоят на 15, 18, 19 июля. Если написать через ЛК налоговикам, сведения обновляются, но не всем. Формировать электронные подписи многие также не могут, не отправить 3-НДФЛ, не обновить электронные подписи.

Иллюстрация: Вера Ревина/Клерк.ру
Инвестиции

Физлицам и компаниям ЕС запретили участвовать в российской схеме обмена активами

Власти Евросоюза призвали инвесторов и компании не участвовать в обмене заблокированных ценных бумаг, поскольку в этом механизме участвует подсанкционный Национальный расчетный депозитарий.

ОСАГО

ОСАГО можно оформить онлайн через Сбер

Водители могут застраховать машину онлайн за несколько минут. Достаточно ввести данные документов и выбрать страховщика на маркетплейсе Сбербанка.

Для россиян тоже установят лимит на количество сим-карт

Несколько сим-карт нужны владельцам гаджетов, которые позволяют управлять умным домом и камерами наблюдения.

Сотрудников не могут заставить сдавать отпечатки пальцев

Частные компании не имеют права проводить дактилоскопическую регистрацию сотрудников, чтобы наладить пропускной режим на объекте.

Бухгалтеры

НДС на УСН в 2025 году, выбор налогового режима, топ претензий от ФНС, и господдержка бизнеса — какие вебинары пройдут в августе 2024 года

Подготовили для вас анонс предстоящих вебинаров в августе.

НДС на УСН в 2025 году, выбор налогового режима, топ претензий от ФНС, и господдержка бизнеса — какие вебинары пройдут в августе 2024 года
Новости ФНС

ФНС начнет регистрировать личные фонды россиян

Полномочия по регистрации личных фондов для управления бизнесом, имуществом и активами перешли от Минюста к ФНС.

Личные финансы

Цены на туры в Турцию выросли до 300 000 рублей за среднюю путевку

Итоги первой половины лета показали, что отдых на море в этом году стал для россиян дороже еще на несколько десятков процентов. Подорожало все — и гостиницы, и перелеты, и пакетные туры. Причем не только за границей, но и в России.

Бесплатно с Трудовое право

Трудовые споры: сколько денег можно взыскать с работодателя за неправильную запись в трудовой книжке 

Все зависит от того, в состоянии ли работник доказать, что неправильная запись в трудовой лишила его заработка. Разбираем детали.

Трудовые споры: сколько денег можно взыскать с работодателя за неправильную запись в трудовой книжке 

Интересные материалы

Кадровый учет

Перемещение работника

В данном материале рассмотрим, как выглядит процедура перемещения сотрудника. Поговорим о том, какими документами оформляется это кадровое мероприятие. Разберем, в чем состоят отличия между перемещением и переводом работника.

Иллюстрация: Вера Ревина/Клерк.ру