Динамика и оптимизация
Язык описания систем, которые меняются во времени и движутся к некоторым устойчивым состояниям. Главные концепты: динамическая система, аттрактор, бистабильность, фазовый переход, пространство поиска, фитнес-функция, локальный и глобальный оптимум, эмерджентность.
Динамическая система
Система = что-то, что имеет внутреннее состояние и правило, по которому это состояние меняется во времени.
Примеры:
- Маятник: состояние = угол и скорость, правило = законы Ньютона
- Популяция: состояние = численность, правило = рождаемость минус смертность
- Экосистема: состояние = численности всех видов, правило = их взаимодействия
Состояние системы можно представить точкой в пространстве состояний (фазовом пространстве). Каждая ось этого пространства — одна переменная, описывающая состояние. С течением времени точка движется по этому пространству, оставляя траекторию.
Динамика системы — то, как состояние меняется со временем. Изучать динамику — значит изучать траектории в пространстве состояний.
Аттрактор
Аттрактор — состояние или набор состояний, к которым система сама приходит и в которых остаётся. Если попасть в окрестность аттрактора, траектория «сваливается» внутрь.
Типы аттракторов:
- Точечный аттрактор — одно устойчивое состояние. Маятник в положении равновесия (висит вниз) — точечный аттрактор: толкнуть его, и он вернётся
- Цикл — повторяющаяся траектория. Сердцебиение, циркадные ритмы, сезонная динамика популяций — циклические аттракторы
- Странный аттрактор — траектория, которая не повторяется, но остаётся в ограниченной области (хаотическая динамика). Погода — пример системы со странным аттрактором
Бассейн притяжения аттрактора — все состояния, из которых система к нему стекает. Если толкнуть систему слабо — она вернётся в тот же аттрактор. Если толкнуть достаточно сильно, чтобы выйти из бассейна, — попадёт в бассейн другого аттрактора и стабилизируется уже там.
Бистабильность и фазовый переход
Если у системы два аттрактора с разделёнными бассейнами — это бистабильная система. Она может стабильно находиться в двух разных режимах, и переключение между ними требует определённой энергии или возмущения.
Простой пример: выключатель. Два устойчивых положения (вкл/выкл), между ними — нестабильная зона, через которую переключатель проскакивает почти мгновенно. Третье состояние «наполовину» не существует как устойчивое.
Фазовый переход — резкое переключение из одного аттрактора в другой. Характерные свойства:
- Накопление возмущения должно превысить порог. До порога — система остаётся в текущем аттракторе несмотря на стресс
- Сам переход быстрый и часто дискретный. Не «постепенно», а скачком
- После перехода обратный путь требует своего порога (гистерезис) — нельзя просто откатить условия, и система вернётся
Биология полна бистабильных систем: некоторые типы клеточной дифференцировки, состояния сознания (сон/бодрствование), социальные роли. Это объясняет, почему изменения в живых системах часто идут не плавно, а через явные «переломы».
Пространство поиска
Когда задача — найти оптимальное решение из множества возможных, всё это множество называется пространством поиска. Размерность пространства — число параметров решения; точка в нём — один конкретный вариант.
Пример:
- Подобрать настройки модели машинного обучения: пространство поиска — все возможные комбинации параметров
- Подобрать молекулу-лекарство: пространство поиска — все молекулы определённого размера
- Эволюционная адаптация: пространство поиска — все возможные конфигурации признаков организма
Размер пространства поиска обычно гигантский. Полный перебор невозможен. Поэтому нужны методы, которые позволяют находить хорошие решения быстро, не перебирая всё.
Фитнес-функция и ландшафт
Фитнес-функция (функция приспособленности) — правило, по которому каждой точке пространства поиска присваивается число, обозначающее «качество» этого решения.
Геометрически: над пространством поиска надстраивается высота — значение фитнес-функции для каждой точки. Получается фитнес-ландшафт: пейзаж с горами, долинами, плато.
Оптимизация = движение по этому ландшафту вверх. Простейший метод (градиентный спуск): в каждом шаге двигаться в направлении, где фитнес-функция растёт быстрее всего.
Этот же концепт работает в эволюции: фитнес = приспособленность, точки = особи с разными признаками, движение вверх — естественный отбор.
Локальный и глобальный оптимум
Локальный максимум — точка, где фитнес выше, чем у соседей по всем направлениям. Любой мелкий шаг в сторону ведёт вниз. Это аттрактор оптимизационной динамики: попав в окрестность, система застревает на вершине.
Глобальный максимум — самая высокая точка во всём пространстве поиска. Это лучшее возможное решение.
Главная проблема: локальный максимум не обязательно глобальный. Между ним и более высоким пиком может быть впадина. Чтобы выйти из локального и попасть в глобальный, нужно сначала пройти через зону, где фитнес падает, — а это противоречит правилу «двигаться только вверх».
Способы выйти из локального максимума:
- Случайные возмущения — иногда делать шаг в случайном направлении, чтобы выйти из бассейна. Имитированный отжиг (simulated annealing) формализует этот подход
- Параллельный поиск — много стартовых точек одновременно; те, что попадут в плохие максимумы, отбрасываются
- Скрещивание решений — комбинировать удачные части разных решений. Это идея генетических алгоритмов
Генетические алгоритмы
Метод оптимизации, имитирующий биологическую эволюцию. Применяется, когда фитнес-ландшафт сложный и обычные методы застревают в локальных максимумах.
Логика:
- Создаётся популяция случайных решений (точек в пространстве поиска)
- Каждое решение оценивается фитнес-функцией
- Лучшие отбираются для «размножения»
- Их параметры комбинируются (кроссовер) и слегка случайно изменяются (мутация)
- Получается новое поколение решений
- Цикл повторяется до сходимости
Сила метода — в том, что популяция параллельно исследует разные части ландшафта, а кроссовер позволяет «перепрыгивать» через впадины: ребёнок наследует хорошие части от обоих родителей, даже если они на разных пиках.
Генетический алгоритм — это просто математическая абстракция эволюции, без биологии. Тот же принцип работает для любой системы, где есть пространство возможных решений и способ их оценивать.
Эмерджентность
Эмерджентность — появление свойств целого, которых нет у отдельных частей. Целое ведёт себя так, что наблюдатель не предскажет это, зная только характеристики компонентов.
Примеры:
- Стайное поведение птиц или рыб — нет «лидера», каждая особь следует простым локальным правилам, но стая ведёт себя как единое целое
- Сознание — нет «нейрона сознания», но из их взаимодействия как-то получается субъективный опыт
- Жизнь — отдельные молекулы не живые, но их определённая организация даёт живой организм
Эмерджентные свойства не «появляются из ниоткуда» — они следствие взаимодействий. Но они не сводятся к свойствам компонентов: знание химии не даёт автоматического знания биологии, знание биологии не даёт автоматического знания психологии.
Это важно для понимания сложных систем: иногда нет смысла изучать компоненты по отдельности, потому что главное — в их связях. Динамика целого может быть устойчивой и предсказуемой, даже когда поведение каждой части — нет.