Интернет и IT

Генетика, нейросети и Excel - как они связаны

Генетический алгоритм - это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.
Генетика, нейросети и Excel - как они связаны

Генетический алгоритм — это один из методов решения задач, который разработан на основе эволюции. Такой алгоритм используют тогда, когда количество решений настолько большое, что протестировать их все нереально. Расскажем, как устроены эти алгоритмы, и почему с ними нейросети работают на порядок лучше.

Эволюция в математике

Составление алгоритма начинается с создания реестра моделей — популяции. Причем каждая модель должна быть представлена набором чисел — генов. Этот набор генерируют случайным образом.

Список решений — это и есть популяция. Из нее выбираются самые жизнеспособные модели для следующей популяции. Этот процесс многократно запускается до тех пор, пока не будет найдено оптимальное решение.

Чтобы понять, насколько качественным вышло решение, применяют функцию приспособленности. Например: F-score и точность предсказания. Чем качественнее решение, тем больше шансов, что особь будет отобрана для следующей популяции.

Анализ данных не останавливается на Excel. Пройдите онлайн-курс «Google Таблицы для бизнеса». Научитесь работать с Google Таблицами с любого устройства, синхронизируйте вашу работу с коллегами и интегрируйтесь с Google Forms и Google Analytics.

Основные стадии

После того, как будет создана первая популяция, алгоритм проходит четыре стадии:

1. Отбор.

Смысл отбора в том, чтобы найти самые жизнеспособные модели и передать их гены следующему поколению. Приспособленность — главное качество, по которому отбирают родителей. Причем количество родителей (пар особей) может быть любым, но всегда одинаковым для каждого последующего цикла.

Есть два основных метода отбора::

  • Ранговый. Популяцию делят на несколько рангов (групп). Ранги назначают на базе функции приспособленности. А затем пропорционально отбирают по несколько особей из каждого ранга.
  • Турнирный. Несколько особей выбирают случайным образом. Из отобранной группы выделяют лучших. Процесс повторяют до тех пор, пока не наберут нужное число особей из этой популяции.

У каждого метода свои плюсы. Ранговый помогает сохранить разнообразие особей. Турнирный подходит тогда, когда модели можно сравнивать только попарно, а выражение функции приспособленности числом недоступно. Например, его используют для игровых стратегий.

2. Скрещивание.

На этой стадии происходит обмен информацией между родителями. Из популяции отбирают пары особей и смешивают отдельные фрагменты их хромосом. В результате получается новый набор генов.

Часто применяют метод одноточечного скрещивания — внутри хромосом родителей выбирают случайное место и разделяют каждую из них на две части. Далее эти части меняют местами, а затем новые данные загружают в популяцию.

3. Мутация.

Запускается редко и в случайном порядке переставляет местами числа отдельных генов (например: меняет 1 на 0).

Мутация способствует сохранению разнообразия внутри популяции. При этом степень приспособленности мутировавшей особи может повыситься, а может понизиться.

4. Завершение алгоритма.

Процесс заканчивается тогда, когда новая созданная популяция почти не отличается от предыдущей. Это означает, что полученное решение оптимально.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Генетические алгоритмы или нейросети: что лучше

Алгоритм идеально работает с большим объемом дискретных данных, так как простой перебор занимает на порядок больше времени.

Data scientist Мишель Берк запрограммировал алгоритм расставить в верном порядке буквы зашифрованного предложения: Genetic Algorithms are wild. Алгоритму потребовалось сделать выбор из всех вероятных комбинаций — 2753. У него было 30 особей в популяции, а решил задачу он на 51-м поколении. Для этого ему пришлось проверить 1 530 комбинаций.

Алгоритм может быстро найти кратчайший путь между двумя точками. Поэтому его применяют для построения маршрутов GPS-систем и расчета траектории движения.

Для расчета распространения коронавируса ученые также воспользовались генетическим алгоритмом. На его базе был проведен анализ распространения инфекции в 40 странах мира.

Нейросети лучше работают с непрерывными данными. Так они лучше понимают языки или распознают изображения. А еще нейросети используют для задач линейной регрессии, когда нужно найти зависимость между переменными.

Мы разработали онлайн-курс «Excel для финансов» для тех специалистов, которым нужно быстро и качественно составлять отчеты в Excel. Вы научитесь рассчитывать зарплаты сотрудников, готовить налоговую и финансовую отчетность. После курса ваша работа с данными в Excel станет намного эффективнее.

Алгоритмы и нейросети в симбиозе

Существуют примеры удачного объединения нейросетей и алгоритмов в одной системе.

Так алгоритмы могут оптимизировать функциональность модели. Например: подобрать вес, функцию активации. Но их использование для подбора требует больших затрат времени и вычислительных мощностей. Например: чтобы научить нейросети обыгрывать реальных людей в видеоиграх.

Так в 2017 году OpenAI применила алгоритм, для отбора тех ботов в игру Dota 2, которые выигрывали матчи. А затем они провели обучение нейросетей на основе этих данных.

Узнать подробнее об обучении в геймдеве можно тут.

Онлайн. На практике.

r_d помогает в этом — учит людей создавать будущее уже сегодня.

Хотите узнать больше? Подписывайтесь на каналы и соцсети онлайн-школы robot_dreams:

Начать дискуссию

Юристы СПБ Банка разместили шаблон и инструкцию для самостоятельного обращения в OFAC

По информации на сайте, это исчерпывающий перечень документов для обращения на текущем этапе, хотя OFAC может запросить дополнительную информацию.

Курсы повышения
квалификации

21
Официальное удостоверение с занесением в госреестр Рособрнадзора
Бесплатно с Трудовые отношения

Трудовые споры: обязан ли работодатель выдавать работнику характеристику

Характеристика может понадобиться не только для трудоустройства у нового работодателя, но и для суда, военкомата и для расследования происшествий внутри фирмы. Обязан ли работодатель давать характеристику? И если да, то что в ней должно быть?

Трудовые споры: обязан ли работодатель выдавать работнику характеристику
Ведение бизнеса

Основы предпринимательской экспертизы: как стать успешным предпринимателем

Каждая профессия предполагает наличие у человека определенных качеств. Одни считают, что их можно развить, другие называют это талантом и врожденным даром.

Иллюстрация: Вера Ревина/Клерк.ру
Лучшие спикеры, новый каждый день
Кредитование

Как получить кредит на открытие бизнеса с нуля

Для открытия бизнеса нужен стартовый капитал, сумма которого может составлять до нескольких миллионов рублей. Если у начинающего предпринимателя нет своих накоплений, можно взять кредит. Рассказываем, как его получить и какие есть особенности у целевого кредита на бизнес. 

Иллюстрация: создано с помощью ИИ OpenAI © Вера Ревина/Клерк.ру
1
Самозанятые

Резко выросло число самозанятых IT-специалистов: почему

Согласно прогнозам, к 2030 году число IT-специалистов вырастет на 56%. Работодатели предпочитают сотрудничать с самозанятыми, чтобы сохранить ставку НДФЛ 13% с работниками из других стран.

Отчетность

ИП с сотрудниками: налоги и отчетность

Если у предпринимателя есть сотрудники, он уплачивает те же налоги, что ИП без работников. Кроме того, он платит за работников страховые взносы, удерживает с их зарплат НДФЛ и перечисляет его в бюджет. Все нюансы изложены в нашей статье.

Иллюстрация: Вера Ревина/Клерк.ру
Опытом делятся эксперты-практики, без воды
Проверки ФАС

Бесплатное обслуживание банком счетов оказалось не таким уж и бесплатным

ПАО Банк Синара исполнил предупреждение ФАС с требованием разместить достоверную информацию о брокерских услугах на своем сайте.

Банки

Центробанк рекомендует усилить контроль за платежными агентами

Дабы исключить высокорисковые операции, регулятор просит следить, чтобы агенты не использовали персональные данные клиентов без их ведома.

Цифровизация в школах чрезмерна, показал опрос председателя Госдумы

Вячеслав Володин у себя в телеграм-канале провел анонимный опрос о чрезмерности цифровизации в школе.

Новости ФНС

Информация о компаниях будет храниться в открытом доступе 1 месяц

ФНС сократила срок хранения открытой информации об организациях с года до одного месяца.

Самозанятых и начинающий бизнес в новых регионах поддержат дополнительно

Правительство приняло решение дополнительно выделить из федерального бюджетам ДНР, ЛНР, Запорожской и Херсонской областям 3,75 млрд рублей.

Логика вышла из чата: за несданную декларацию по НДС ИП на патенте и самозанятым грозят блокировкой счета.✍«Ночной бухгалтер» № 1685

Бухгалтеры возмущены: их клиентам и работодателям летят требования сдать декларации по ОСНО, такие уведомления получают даже самозанятые. ФНС рекомендует не отвечать на сообщения, если они не касаются компании или ИП, но бухгалтеры опасаются блокировок.

Иллюстрация: Вера Ревина / Клерк.ру
Миникурсы, текстовые и видеоинструкции для бухгалтеров

Создадут единую платформу по борьбе с киберпреступлениями

Замглавы Минцифры Александр Шойтов рассказал о планах в сфере информационной безопасности.

Обзоры новостей

⚡️ Итоги дня: садоводам предложили выдавать бесплатные семена, в Москве подорожал проезд в метро, а стоимость золота обновила рекорд

Подготовили обзор главных событий дня — 20 мая 2024 года. Все самое интересное, что писали и обсуждали в сети, в одной подборке.

Криптовалюта

Где безопасно обменять наличные на крипту

За 15 лет существования криптовалюты* не только не утратили своей актуальности, но наоборот — по популярности приблизились к фиатным деньгам и ценным металлам. Так, капитализация того же Биткоина сегодня превышает 1,4 триллиона долларов, что уже выше, чем у серебра! Неудивительно, что обмен крипты на наличные сегодня так востребован.

Где безопасно обменять наличные на крипту

Как загрузить отчеты о продажах с WB и OZON в 1С:Бухгалтерия

Начиная с релиза 1С:БП 3.0.114.23, в программе появился функционал, который позволяет загружать отчеты из маркетплейсов Ozon и Wildberries. Для WB загрузка данных доступна из табличного документа Excel, а также с помощью интеграции с личным кабинетом. Для площадки Ozon интеграцию с личным кабинетом добавили, начиная с релиза 3.0.126.

Как загрузить отчеты о продажах с WB и OZON в 1С:Бухгалтерия

Начался эксперимент по маркировке силовых кабелей

7 из 16 образцов кабелей и проводов не соответствуют требованиям ГОСТ по качеству и безопасности, поэтому власти проводят эксперимент по маркировке этой продукции.

Обязательная регистрация работодателя в системе ЕИСОТ

С принятием нового порядка обучения у работодателей появилась новая обязанность: помимо проведения внутреннего обучения еще и занесение сведений об обученных в реестр Минтруда.

Обязательная регистрация работодателя в системе ЕИСОТ

Свежая вакансия: «Союзмультфильм» ищет бухгалтера по производству

Компании нужен специалист, который знает основные положения бухгалтерского и налогового учета нематериальных активов.

Интересные материалы

Бухгалтеры

Дарим топовый онлайн-курс «Бухгалтер маркетплейсов-2024» с подпиской «Клерк.Премиум»

При покупке подписки «Клерк.Премиум» от полугода вы получаете наш флагманский курс «Бухгалтер маркетплейсов-2024: учет, налоги, 1С» бесплатно!