Сразу же, когда доктор Блейк Ричардс услышал о глубоком обучении, он понял, что столкнулся не только с методом, который революционизирует искусственный интеллект. Он понял, что смотрит на нечто фундаментальное от мозга человека. Это было начало 2000-х, а Ричардс проводил курс в Университете Торонто вместе с Джеффом Хинтоном. Хинтону, который стоял у истоков создания алгоритма, покорившего мир, предложили читать вводный курс о его методе обучения, вдохновленном человеческим мозгом.
Ключевые слова здесь «вдохновленном мозгом». Несмотря на убежденность Ричардса, ставка играла против него. Мозг человека, как оказалось, не имеет важной функции, которая программируется в алгоритмах глубокого обучения. На поверхности эти алгоритмы нарушали основные биологические факты, уже доказанные нейробиологами.
Но что, если глубокое обучение и мозг на самом деле совместимы?
И вот, в новом исследовании, опубликованном в eLife, Ричардс, работая с DeepMind, предложил новый алгоритм, основанный на биологической структуре нейронов в неокортексе. Кортекс, кора головного мозга, является домом для высших когнитивных функций, таких как рассуждение, прогнозирование и гибкое мышление.
Команда объединила свои искусственные нейроны в многоуровневую сеть и поставила перед ней задачу классического компьютерного зрения — определять рукописные цифры.
Новый алгоритм справился на отлично. Но важно другое: он анализировал примеры для обучения так, как это делают алгоритмы глубокого обучения, но построен был полностью на фундаментальной биологии мозга.
«Глубокое обучение возможно в биологической структуре», заключили ученые.
Поскольку на текущий момент эта модель представляет собой компьютерный вариант, Ричардс надеется передать эстафету экспериментальным нейробиологам, которые могли бы проверить, работает ли такой алгоритм в реальном мозге.
Если да, данные могут быть переданы компьютерным ученым для разработки массово параллельных и эффективных алгоритмов, на которых будут работать наши машины. Это первый шаг по направлению к слиянию двух областей в «добродетельный хоровод» открытий и инноваций.
Поиск козла отпущения
Хотя вы наверняка слышали о том, что искусственный интеллект недавно обыграл лучшего из лучших в го, вы вряд ли знаете, как именно работают алгоритмы в основе этого искусственного интеллекта.
В двух словах, глубокое обучение основано на искусственной нейронной сети с виртуальными «нейронами». Как и высокий небоскреб, сеть структурирована в иерархии: нейроны низкого уровня обрабатывают ввод — например, горизонтальные или вертикальные черточки, образующие цифру 4, — а нейроны высокого уровня обрабатывают абстрактные аспекты цифры 4.
Чтобы обучить сеть, вы даете ей примеры того, что ищете. Сигнал распространяется по сети (поднимается по ступенькам здания), и каждый нейрон пытается усмотреть нечто фундаментальное в работе «четверки».
Как дети учатся чему-то новому, сначала сеть справляется не очень хорошо. Она выдает все, что, по ее мнению, похоже на цифру четыре — и получаются образы в духе Пикассо.
Но именно так протекает обучение: алгоритм сопоставляет вывод с идеальным вводом и рассчитывает разницу между ними (читай: ошибки). Ошибки «обратно распространяются» по сети, обучая каждый нейрон, мол, это не то, что вы ищете, ищите лучше.
Спустя миллионы примеров и повторений, сеть начинает работать безукоризненно.
Сигнал ошибки крайне важен для обучения. Без эффективного «обратного распространения ошибки» сеть не будет знать, какие из ее нейронов ошибаются. В поисках козла отпущения искусственный интеллект улучшает себя.
Мозг тоже это делает. Но как? Мы понятия не имеем.
Биологический тупик
Очевидно другое: решение с глубоким обучением не работает.
Обратное распространение ошибки — крайне важная функция. Она требует наличия определенной инфраструктуры для корректной работы.
Во-первых, каждый нейрон в сети должен получать уведомление об ошибке. Но в мозге нейроны соединены только с несколькими партнерами по нисходящему потоку (если вообще соединены). Чтобы обратное распространение работало в мозге, нейроны на первых уровнях должны воспринимать информацию от миллиардов соединений в нисходящих каналах — а это биологически невозможно.
И хотя некоторые алгоритмы глубокого обучения адаптируют локальную форму обратного распространения ошибки — по существу между нейронами — она требует, чтобы их соединение вперед и назад было симметричным. В синапсах мозга такого не происходит почти никогда.
Более современные алгоритмы адаптируют несколько иную стратегию, реализуя отдельный путь обратной связи, который помогает нейронам находить ошибки локально. Хотя это более реализуемо биологически, у мозга нет отдельной вычислительной сети, посвященной поиску козлов отпущения.
Но у него есть нейроны со сложными структурами, в отличие от однородных «шаров», которые в настоящее время применяются в глубоком обучении.
Ветвящиеся сети
Ученые черпают вдохновение из пирамидальных клеток, которые заполняют кору головного мозга человека.
«Большинство этих нейронов имеют форму деревьев, их «корни» глубоко уходят в мозг, а «ветви» выходят на поверхность», говорит Ричардс. «Что примечательно, корни получают одни наборы входных данных, а ветви другие».
Любопытно, но структура нейронов зачастую оказывается «именно такой, как нужно» для эффективного решения вычислительной задачи. Взять, к примеру, обработку ощущений: днища пирамидальных нейронов находятся там, где должны, для получения сенсорного ввода, а верхушки удобно расположены для передачи ошибок через обратную связь.
Может ли эта сложная структура быть эволюционным решением по борьбе с ошибочным сигналом?
Ученые создали многослойную нейронную сеть на основе предыдущих алгоритмов. Но вместо однородных нейронов они дали ей нейроны средних слоев — зажатые между вводом и выводом — похожие на настоящие. Обучаясь на рукописных цифрах, алгоритм показал себя намного лучше, чем однослойная сеть, несмотря на отсутствие классического обратного распространения ошибки. Клеточные структуры самостоятельно могли определить ошибку. Затем, в нужный момент, нейрон объединял оба источник информации для поиска лучшего решения.
В этом есть биологическая основа: нейробиологи давно знают, что входные ветви нейрона выполняют локальные расчеты, которые можно интегрировать с сигналами обратного распространения ошибки от ветвей вывода. Но мы не знаем, так ли работает мозг на самом деле — поэтому Ричардс поручил нейробиологам выяснить это.
Более того, эта сеть обрабатывает проблему похожим на традиционный метод глубокого обучения образом: использует многослойную структуру для извлечения прогрессивно более абстрактных идей о каждом числе.
«Это особенность глубокого обучения», объясняют авторы.
Глубоко обучающийся мозг
Без сомнения, в этой истории будет больше неожиданных поворотов, потому что компьютерные ученые вносят все больше биологических деталей в алгоритмы ИИ. Ричардс и его команда рассматривают прогностическую функцию сверху-вниз, когда сигналы с более высоких уровней непосредственно влияют на то, как более низкие уровни реагируют на ввод.
Обратная связь с верхними уровнями не только улучшает сигнализацию ошибок; она также может поощрять нейроны низшего уровня обработки работать «лучше» в режиме реального времени, говорит Ричардс. Пока сеть не превзошла другие небиологические сети глубокого обучения. Но это и не важно.
«Глубокое обучение оказало огромное влияние на ИИ, но до сегодняшнего дня его влияние на нейронауку было ограничено», говорят авторы исследования. Теперь у нейробиологов будет повод провести экспериментальную проверку и узнать, лежит ли структура нейронов в основе природного алгоритма глубокого обучения. Возможно, в следующие десять лет начнется взаимовыгодный обмен данными между нейробиологами и исследователями искусственного интеллекта.