Какие же законы управляют хаосом? Возможно ли создать математический аппарат, позволяющий непротиворечиво описывать хаотическую динамику и предсказывать появление хаоса в тех или иных системах? Наконец, можно ли найти методы предсказания поведения хаотических систем? Ответами на эти и ряд других вопросов занимается теория динамического (или детерминированного) хаоса. Здесь к настоящему времени разработаны методы классификации различных типов хаоса, найдены закономерности его развития, созданы методы, позволяющие отличить, например в эксперименте, хаос от белого шума, и т.п. Более того, было обнаружено и строго обосновано, что сложное пространственно-временное поведение распределенных сред с большим числом степеней свободы при некоторых усдовиях может быть адекватно описано нелинейными системами небольшой размерности.

Развитие теории динамических систем внесло много нового в понимание происхождения хаотичности и привело к ряду важнейших открытий. Обоснование эргодической гипотезы Больцмана для определенного класса систем, доказательство сохранения квазипериодического движения при возмущении интегрируемых систем (теорема Колмогорова-Арнольда-Мозера), введение энтропии Колмогорова, подковы Смейла и У-систем Аносова стимулировало развитие новых направлений современной математики и математической физики, отражающих всю глубину проблем, рассматриваемых в нелинейной динамике.

Концепция динамического хаоса получила строгое обоснование на простейшей модели статистической механики - бильярде. Понятие бильярда в теоретической и математической физике возникло после того, как Д.Биркгоф рассмотрел задачу о движении по инерции материальной точки в некоторой ограниченной области. Позже глубокие работы Н.С.Крылова, посвященные проблеме перемешивания в системе из упругих шаров, привели исследователей к необходимости рассмотрения задач бильярдного типа.

Было показано, что система уже из двух шаров, в зависимости от формы границы, может обладать свойством хаотичности. Тем самым была решена задача об экспоненциальной неустойчивости (и как следствие - непредсказуемости) траекторий системы упругих шариков. В дальнейшем были изучены различные модификации бильярдных систем и исследованы их статистические свойства. Более того, на основе анализа бильярдов был получен результат о сходимости к броуновскому движению поведения чисто детерминированной системы, что явилось первым строгим подтверждением рождения хаоса в динамических системах.

Естественным обобщением бильярдных систем являются бильярды, границы которых не являются неподвижными, а изменяются по какому-либо закону. Это совершенно новая область математической физики, открывающая новые перспективы в исследовании многих давно известных, но малоизученных проблем. Например, задача о динамике частицы в бильярде, граница которого со временем изменяется, имеет прямое физическое приложение как модель неравновесной статистической механики.

Для бильярда с возмущенными границами существенным оказываются его динамические свойства: если он проявляет хаотическую динамику, то возмущение границы может привести к неограниченному росту скорости частицы. С другой стороны, бильярд с достаточно гладкой границей не хаотичен, и ее колебания не приводят к бесконечному разгону бильярдной частицы. Кроме того, в бильярде с определенным образом возмущаемой границей возможна стабилизация хаотической динамики в том смысле, что в таком бильярде с неизбежностью появятся регулярные (периодические) траектории, которые не существовали в случае неподвижной границы. Это приводит к новому недавно открытому явлению: замедлению движения бильярдной частицы.

Как известно, рассеивающий бильярд на торе (с евклидовой метрикой), граница которого образована неподвижным круглым диском, обладает хорошими хаотическими свойствами. В частности, для такого бильярда доказано существование эргодичности и перемешивания. Однако такой же бильярд, расположенный на сферической поверхности имеет регулярную динамику. Таким образом, рассеивающее действие границы бильярда подавляется положительностью кривизны пространства. В то же время, этот вывод справедлив не для всяких бильярдов на сфере.

Развитие нелинейной динамики и теории динамических систем стимулировало большой интерес к теории бифуркаций. Это связано с тем, что все системы обыкновенных дифференциальных уравнений одинаковой размерности вблизи значений параметров, при которых в них имеет место бифуркация одного типа, являются топологически эквивалентными. Следовательно, описав бифуркацию и определив ее тип, легко судить о том, какое поведение проявят системы в окрестности бифуркационного значения параметра. Помимо широко известных типов бифуркаций, таких как бифуркация Андронова-Хопфа, бифуркация рождения тора, бифуркация удвоения периода и т.п., достаточно часто встречаются бифуркации контуров, составленных из сепаратрис седел. Одним из факторов, способствовавших исследованию таких бифуркаций, явилось обнаружение гомоклинических траекторий и сепаратрисных контуров в моделях, имеющих прикладное значение. Не последнюю роль здесь сыграла известная модель Лоренца, имеющая гомоклинический контур типа восьмерка-бабочка. Эта система исторически явилась первым примером, где было обнаружено хаотическое поведение.

При исследовании бифуркаций контуров главным образом рассматривается вопрос о количестве и устойчивости рождающихся при этом предельных циклов. Изучение бифуркаций рождения циклов из сепаратрисных контуров на двумерных поверхностях восходит к работам горьковской школы. Более широкие исследования в этом направлении были начаты после выдвинутой в 1985г. В.И.Арнольдом и др. программы, посвященной описанию бифуркациям полициклов, возникающих в типичных двумерных малопараметрических семействах векторных полей. Недавние работы значительно расширили класс таких бифуркаций и существенно продвинули понимание сути происходящих при этом явлений.

Исследование бифуркаций векторных полей на плоскости и числа предельных циклов, рождающихся из полициклов, восходит к известной 16-й проблеме Гильберта (точнее к ее второй части): получить оценку сверху числа предельных циклов системы двух обыкновенных дифференциальных уравнений, правая часть которых суть многочлены. Вариант для полициклов называется "проблемой Гильберта-Арнольда": доказать, что в типичном k-параметрическом семействе векторных полей на плоскости из полицикла рождается только конечное число предельных циклов, оцениваемое сверху постоянной, зависящей только от k.

Для решения этой проблемы по крайней мере для двух- и трехпараметрических семейств векторных полей необходимо знать все полициклы, встречающиеся в таких семействах. Полный список всех полициклов коразмерностей 1, 2 и 3 недавно (1995г.) был опубликован. Этот список, называемый "зоопарком Котовой", включает все регулярные классы элементарных полициклов на ориентируемых двумерных многообразиях. Немного позже с помощью специально построенного формализма были исследованы регулярные классы полициклов коразмерности не выше 3 и определена верхняя оценка цикличности полициклов для каждого класса зоопарка Котовой.