Функции активации нейросети: сигмоида, линейная, ступенчатая, ReLu, tahn

Пирамидный нейрон коры головного мозга мыши, экспрессирующий зелёный флуоресцентный белок (GFP)
Нейро́н

, или
невро́н
(от др.-греч. νεῦρον — волокно, нерв) — структурно-функциональная единица нервной системы. Нейрон — электрически возбудимая клетка, которая обрабатывает, хранит и передает информацию с помощью электрических и химических сигналов. Нейрон имеет сложное строение и узкую специализацию. Клетка содержит ядро, тело клетки и отростки (дендриты и аксоны). В головном мозге человека насчитывается около 90—95 миллиардов нейронов[1][2]. В год восстанавливается около 4 миллиардов нейронов. Нейроны могут соединяться один с другим, формируя биологические нейронные сети. Нейроны разделяют на рецепторные, эффекторные и вставочные.

Сложность и многообразие функций нервной системы определяются взаимодействием между нейронами. Это взаимодействие представляет собой набор различных сигналов, передаваемых между нейронами или мышцами и железами. Сигналы испускаются и распространяются с помощью ионов. Ионы генерируют электрический заряд (потенциал действия), который движется по телу нейрона.

Важное значение для науки имело изобретение метода Гольджи в 1873 году, позволявшего окрашивать отдельные нейроны[3][4]. Термин «нейрон» (нем. Neuron) для обозначения нервных клеток введён Г. В. Вальдейером в 1891 году[5][6].

Строение нейронов

Схема нейрона

Тело клетки

Тело нервной клетки состоит из протоплазмы (цитоплазмы и ядра), ограниченной снаружи мембраной из липидного бислоя. Липиды состоят из гидрофильных головок и гидрофобных хвостов. Липиды располагаются гидрофобными хвостами друг к другу, образуя гидрофобный слой. Этот слой пропускает только жирорастворимые вещества (напр. кислород и углекислый газ). На мембране находятся белки: в форме глобул на поверхности, на которых можно наблюдать наросты полисахаридов (гликокаликс), благодаря которым клетка воспринимает внешнее раздражение, и интегральные белки, пронизывающие мембрану насквозь, в которых находятся ионные каналы.

Нейрон состоит из тела диаметром от 3 до 130 мкм. Тело содержит ядро (с большим количеством ядерных пор) и органеллы (в том числе сильно развитый шероховатый ЭПР с активными рибосомами, аппарат Гольджи), а также из отростков. Выделяют два вида отростков: дендриты и аксон. Нейрон имеет развитый цитоскелет, который проникает в его отростки. Цитоскелет поддерживает форму клетки, его нити служат «рельсами» для транспорта органелл и упакованных в мембранные пузырьки веществ (например, нейромедиаторов). Цитоскелет нейрона состоит из фибрилл разного диаметра: Микротрубочки (Д = 20—30 нм) — состоят из белка тубулина и тянутся от нейрона по аксону, вплоть до нервных окончаний. Нейрофиламенты (Д = 10 нм) — вместе с микротрубочками обеспечивают внутриклеточный транспорт веществ. Микрофиламенты (Д = 5 нм) — состоят из белков актина и миозина, особенно выражены в растущих нервных отростках и в нейроглии.(Нейроглия

, или просто глия (от др.-греч. νεῦρον — волокно, нерв + γλία — клей), — совокупность вспомогательных клеток нервной ткани. Составляет около 40 % объёма ЦНС. Количество глиальных клеток в среднем в 10—50 раз больше, чем нейронов).

В теле нейрона выявляется развитый синтетический аппарат, гранулярная ЭПС нейрона окрашивается базофильно и известна под названием «тигроид». Тигроид проникает в начальные отделы дендритов, но располагается на заметном расстоянии от начала аксона, что служит гистологическим признаком аксона. Нейроны различаются по форме, числу отростков и функциям. В зависимости от функции выделяют чувствительные, эффекторные (двигательные, секреторные) и вставочные. Чувствительные нейроны воспринимают раздражения, преобразуют их в нервные импульсы и передают в мозг. Эффекторные (от лат. effectus — действие) — вырабатывают и посылают команды к рабочим органам. Вставочные — осуществляют связь между чувствительными и двигательными нейронами, участвуют в обработке информации и выработке команд.

Различается антероградный (от тела) и ретроградный (к телу) аксонный транспорт.

Дендриты и аксон

Схема строения нейрона
Аксон — длинный отросток нейрона. Приспособлен для проведения возбуждения и информации от тела нейрона к нейрону или от нейрона к исполнительному органу. Дендриты — короткие и сильно разветвлённые отростки нейрона, служащие главным местом для образования влияющих на нейрон возбуждающих и тормозных синапсов (разные нейроны имеют различное соотношение длины аксона и дендритов), и которые передают возбуждение к телу нейрона. Нейрон может иметь несколько дендритов и обычно только один аксон. Один нейрон может иметь связи со многими (до 20 тысяч) другими нейронами.

Дендриты делятся дихотомически, аксоны же дают коллатерали. В узлах ветвления обычно сосредоточены митохондрии.

Дендриты не имеют миелиновой оболочки, аксоны же могут её иметь. Местом генерации возбуждения у большинства нейронов является аксонный холмик — образование в месте отхождения аксона от тела. У всех нейронов эта зона называется триггерной.

Синапс

Си́напс

(греч. σύναψις, от συνάπτειν — обнимать, обхватывать, пожимать руку) — место контакта между двумя нейронами или между нейроном и получающей сигнал эффекторной клеткой. Служит для передачи нервного импульса между двумя клетками, причём в ходе синаптической передачи амплитуда и частота сигнала могут регулироваться. Одни синапсы вызывают деполяризацию нейрона и являются возбуждающими, другие — гиперполяризацию и являются тормозными. Обычно для возбуждения нейрона необходимо раздражение от нескольких возбуждающих синапсов.

Термин был введён английским физиологом Чарльзом Шеррингтоном в 1897 г.

Структура и стартовые настройки мозга

Знание того как работает нейрон недостаточно для понимания того, чем обусловлено разумное и интеллектуальное поведение. Эволюция совершила удивительное мастерство, создав систему из относительно простых элементов, способную поразить невероятной успешностью во взаимодействии с окружающей средой. Недостаточно взять некую массу связанных нейронов (даже сложив слоями) подключить к ней датчики и выводы и получить хоть какое-то подобие мозга. Главным полем работы эволюции на протяжении миллионов лет является не нейрон, а структура и внутренняя организация нервных клеток в нервной системе.
В предыдущей части мы говорили о структуре коры мозжечка и на его примере видно, что структура и организация является фундаментальной для его функций. Давайте разберемся в том, как организована кора больших полушарий, структура благодаря которой Человек стал самым успешным видом на Земле. Оглавление

1. Симулятор нервной системы. Часть 1. Простой сумматор 2. Симулятор нервной системы. Часть 2. Модулируемый нейроэлемент 3. Симулятор нервной системы. Часть 3. Ассоциативный нейроэлемент 4. Память, консолидация памяти и бабушкины нейроны 5. Моделирование эмоций или электронное чувство новизны 6. Удивительный мозжечок 7. Структура и стартовые настройки мозга

Известно, что кора больших полушарий мозга человека состоит из шести условных слоев, но к такой форме она пришла за многие этапы эволюции. Поэтому для начала мы будем рассматривать упрощённый вариант с 2 – 3 слоями, ведь и такой вариант в природе имеет место. Любую биологическую структуру выгоднее изучать с позиции её эволюционного развития. Эволюция шла двумя путями развития коры: это увеличение количества слоёв и увеличение общей площади коры.

Второй особенностью коры является наличие так называемых кортикальных колонок. Можно сказать, что кортикальная колонка это логическая единица структуры коры. Рост самой коры во время эмбрионального развития осуществляется делением, самокопированием целых колонок. И это логично, если мы хотим сохранить некую структуру при росте.

В основе кортикальных колонок лежат пирамидальные нейроны. Пирамидальные нейроны одни из самых крупных нейронов нервной системы, поэтому наиболее изученные, так как их размеры позволяют воздействовать на них с помощью специальных электродов без разрушения клетки. Эти нейроны имеют развитую систему дендритов, которая распространяется по всей колонке, а так же аксон который в некоторых случаях является источником входящего или исходящего сигнала. Несмотря на то, что таких нейронов в первых слоях кортикальной колонки может быть несколько, все они работают как один нейроэлемент. Активность одной пирамидальной клетки зачастую означает активность всей группы клеток. Эволюционное развитие нервной системы было ориентировано прежде на надежность и дублирование или распределение одного функционала на группы клеток является явлением повсеместным. Невозможно представить схему созданную природой, в которой гибель всего одной клетки приводило бы к нарушению работы целой функциональной единицы. Можно сказать, что активность группы пирамидальных клеток в колонке указывает на активность самой колонки.

Колонки можно разделить на два типа: формирующие сигнал и принимающие сигнал. Тип колонки зависит от того какие имеются аксоны у пирамидальных нейронов: афферентные или эфферентные. Если имеется афферентные аксоны, то есть приносящие сигнал, то колонка будет активироваться при получении сигнала, возможно ретрансляция сигнала, если будет и эфферентный аксон. При наличии эфферентных аксонов результатом активности колонки будет формирование исходящего сигнала.

Дендриты пирамидальных нейронов тянутся к верхним слоям коры, где выходят за пределы своей кортикальной колонки, таким образом, осуществляется локальное взаимодействие между соседними колонками. Одна из форм локального взаимодействия это латеральное (боковое) торможение. Торможение соседних колонок осуществляется посредством специальных тормозящих нейронов, которые входят в состав кортикальных колонок. Главным образом тормозящие нейроны оказывают своё действие на пирамидальные нейроны, препятствуя их активации.

Латеральное торможение оказывается на соседние окружающие колонки. Оно позволяет сделать границы областей активных колонок более четкими и области активности более локализованными. Благодаря латеральному торможению возникает препятствие к сильному распространению возбуждения.

Помимо латерального торможения присутствует и латеральное побуждение. Настраивая баланс, между этими двумя факторами существует возможность очень тонко регулировать уровень общей активности в мозге. К примеру, для сна требуется снизить уровень активности для этого необходимо усилить латеральное торможение и ослабить побуждение. Это делается посредством специальных химических сигналов и медиаторов.

Не всегда действие на соседние колонки имеет форму равномерного концентричного распределения. Для энторинальной коры головного мозга свойственно распределение, которое дает возможность возбуждению легче распространяться в некой треугольной сетке. Это так называемые grid cell, которые помогают животными ориентироваться в пространстве, путем дополнительной модификации образа места пребывания.

Следующим элементом кортикальной колонки является слой из множества относительно маленьких звездчатых нейронов. Такой слой обычно называют зернистым. Нейроны этого слоя из-за своих размеров менее изучены, чем пирамидальные нейроны. Именно нейронам этого слоя можно присвоить главную роль в вычислительных процессах мозга, благодаря их работе и происходит формирование ассоциативных связей и формирование образов. «Вычисления» происходят по принципам взаимопритяжения возбуждения. Нейроны зернистого слоя – это ассоциативный нейроэлемент. А пирамидальным клеткам отводится роль простого сумматора, эти элементы как бы сепарируют, выделяют образы. Пирамидальные нейроны будут активироваться при возбуждении значительной части нейронов зернистого слоя колонки.

Связи между звездчатыми нейронами могут свободно выходить за границы своих кортикальных колонок, можно сказать, что зернистый слой является практически сплошным.

Память, консолидация памяти и бабушкины нейроны

Формирование образов

Сепарация образа слоем из простых сумматоров

Такой вариант кортикальной колонки и структуры коры очень прост и может показаться даже примитивным, но при использовании его в больших масштабах и при правильной настройке можно получить структуру с высокими вычислительными показателями. Природа всегда выбирала наиболее простые, надежные и эффективные решения и наша нервная система это не исключение их этого правила. Зачастую сталкиваюсь с мнением, что нейрон подобен некоторому супервычислителю или квантовому компьютеру, который делает сложные вычисления, используя некие колебания ионов на своей мембране или квантовые механизмы. Даже алгоритм суммации в нейронах обычного персептрона является более сложным, чем в биологическом аналоге, в персептроне имеет значение от какого из синапсов приходят сигналы, а в биологическом важна лишь общая сумма воздействия. Стереотипное мышление о недосягаемой сложности мозга может препятствовать пониманию природы биологической системы.

Удивительно, но описанная структура является универсальной для различных типов областей коры: сенсорной, моторной и ассоциативной. Возможны вариации относительной толщины различных слоев в зависимости от функции области коры. К примеру, у моторной коры увеличен слой пирамидальных нейронов по отношению к зернистому слою, ведь сигналы моторной коры должны быть четкими и сильными. А для ассоциативных областей свойственно увеличенный слой звездчатых нейронов, чтобы обеспечить наибольшую гибкость в формировании ассоциативных рефлекторных дуг.

Области коры переплетены множеством связей, это осуществляется благодаря аксонам, длинным отросткам нейронов. Пучки аксонов формируют нервны, которые является так называемым белым веществом. Эти нервы могут связывать как соседние области, так и области противоположных половин мозга. Причем архитектура этих связей обусловлена эволюционным развитием мозга и частично приобретенным опытом и научением, но для разных людей картина этих связей будет сходна. Существует несколько научных проектов связанных с картированием этих связей, к примеру, Human Connectom Project.

Давайте рассмотрим то, по каким принципам организованны данные связи.

Представленная схема является лишь примером для понимания принципов организации. Реальные схемы в биологической нервной системе многократно сложнее.

Представим некоторое рецепторное поле с рядом однотипных рецепторов, позволяющих получить об окружающей среде некую информацию. Определенные рецепторные поля формируют комбинированные сигналы, к примеру, сетчатка глаза. Такие сигналы требуют определенных возможностей анализа. Представители-колонки данных рецепторов будут распределены по сенсорной коре с определенной плотностью с сохранением топологии расположения рецепторов в рецепторном поле (A). По принципам взаимного притяжения возбуждения, на коре будут образовываться определенные участки возбуждения, что будет являться образом поступившего комбинированного сигнала. Первичная сенсорная кора обычно имеет максимально высокую нейропластичность, т.е. любая комбинация возбужденных колонок будет обрабатываться без учёта ранее полученной информации. Полученный образ будет считываться другими колонками, также с определённой плотностью распределенными по сенсорной коре. Эти колонки будут передавать информации для дальнейшей обработки следующим областям коры. Характер и плотность «считывающих» колонок дают определённый фильтр для полученных образов. Не сложно понять, что такой способ обработки приводит к значительной потере информации полученной от рецепторов, полученные образы не дают однозначной информации какие именно рецепторы были активированы. Эволюцией выбрано два пути устранения данной проблемы. Во-первых, это избыточное количество рецепторов, что компенсируют падение информативности после обработки. Во-вторых, если продублировать информацию с рецепторов в другой области, но с нарушением топологии расположения колонок-представителей по отношению к расположению рецепторов в рецепторном поле (B), т.е. спутаем их. То при множестве различных комбинаций активности рецепторов на двух областях будут формироваться различные комбинации образов, что дает больше информативности и больше признаков, которые мы можем выделить. Естественно следует понимать, что «спутывание» сигналов происходит строго определенным образом, к примеру, если «спутать» все поле сетчатки глаза никакой пользы это не даст. Спутывание происходит небольшими фрагментами рецепторных полей. И конечно мы можем, если это потребуется продублировать и спутать сигналы не один раз. В нервной системе примером этого разделения является дорсальный и вентральный пути переработки зрительного сигнала.

Общий принцип обработки информации корой больших полушарий это последовательная передача информации от области к области с понижением плотности связей. Причем с каждым последующим уровнем нейропластичность областей снижается, что добавляет к вычислениям память и опыт обработки предшествующей информации. Тем самым из обрабатываемой информации могут выделяться некоторые ключевые признаки, которые будут связанны с конкретными нервными клетками. Проще говоря, на областях коры с более высоким уровнем обработки будет формироваться та форма распределения возбуждения, которая соответствует наиболее частой форме обрабатываемого сигнала.

Сформированный образ «abc» комбинацией колонок a, b и c частым повторением или эмоциональным подкреплением, будет выполняться в дальнейшем даже при условии неполноты и зашумлённости активируемой комбинации.

На каждом уровне обработки информации затрачивается определенное время, если необходимо проанализировать динамику изменения информации во времени, то возможно продублирование части информации с каждого уровня на одну область. Аналогом в биологии является область обработки зрительной информации MT (V5) средне-височная кора в которой собирается информация с областей V1, V2, V3…, эта область ответственна за восприятие движения. При повреждении этой области возникает акинетопсия – неспособность воспринимать движение.

Ассоциативные области устроены относительно просто, здесь располагаются представительства различных сенсорных и моторных областей. Причем для моторных представительств важно наличие двусторонних связей, либо это аксоны которые могут работать в оба направления, либо это соседствующие и совместно работающие колонки на обоих концах, либо два аксона одной колонки, работающие в различных направлениях. Таких областей должно быть много с различным характером расположения представительств, чтобы возможность формирования рефлекторных дуг для различных комбинаций было равновозможным. На подобных областях формируются условные рефлексы, поэтому данные области должны обладать пониженной пластичностью.

Все связи в моторных и примоторных областях должны иметь двусторонний характер, это необходимо для формирования ассоциативных связей. По существу примоторная область должна формировать рефлекторные дуги последовательностей, от одного очага возбуждения к другому. Что бы было больше вариативности необходимо представительства, приводящие к действиям неоднократно перемешать, это похоже на ситуацию с сенсорной обработкой только в обратном порядке. Также все моторные действия взаимодействуют со специально устроенной областью координирующей действия во времени – мозжечком.

Представленные схемы являются сильным упрощением того как это утроено в мозге, и создание логических структур подобных нервной системе человека невозможно без участия специалистов в области нейробиологии и учёных изучающих коннектом.

А как же остальные слои?!

– Действительно, я рассказал только про три слоя коры, но в мозге человека насчитывается шесть слоев в коре больших полушарий. Кора мозга оказалась довольно успешным продуктом эволюции даже при наличии небольшого числа слоев. Принцип эволюции: то, что работает – не трогай. Поэтому все новые слой в коре это надстройка к уже имеющимся слоям. Если разобраться в слоях мозга человека, то можно увидеть, что мы имеем не шесть видимых слоев, а два логических слоя, структура которых сходна и повторяется. Эволюция просто повторила уже имеющиеся структуру с целью увеличения производительности.

Пирамидальные клетки наружного слоя более мелкие, чем пирамидальные клетки первого слоя, а значит, в основном имеют более высокий порог чувствительности к активирующим факторам. Зернистые слоя будут работать в сходных условиях, но предположительно звездчатые нейроны наружного слоя имею более низкую пластичность, а значит, при некоторых условиях картины активности в зернистых слоях могут различаться, несмотря на то, что поступившие сигналы будут одинаковыми.
Благодаря этим двум логическим слоям возникает два режима активности кортикальной колонки. Первый: режим полной активности, кода пирамидальные клетки обоих слоев активируются, активируется вся колонка целиком. Второй: режим частичной активности, когда активируются только верхний дополнительный слой. Эти два режима работы колонки можно сравнить со способностью человека говорить в полный голос и шепотом, шепот – это частичная активность, а полный голос – это полная активность.

Что это дает? Для сенсорной коры – это дополнительный уровень обработки информации, а так же возможность работать с образами этих областей без активации через рецепторы. Другими словами дает возможность работать с фантазией. Для ассоциативных областей это дополнительный уровень абстракции, формирование ассоциаций между образами имеющих меньше общих признаков, так как порог чувствительности пирамидальных клеток дополнительного слоя более высок. Для моторной и примоторной коры – это возможность проработать некоторые движения без непосредственного их выполнения. Только при полной активации колонки происходят действия, действия при частичной активации остаются в нашем воображении.

Конечно, есть области в мозге которые управляют, работой режимов колонок, подобно тому, как мы можем очень легко сменить характер нашего говорения с шепота на полную силу. Если увеличить уровень торможения в колонке, то возможно, что она будет активироваться только частично, если наоборот растормозить колонку, то некоторые мысли могут сразу воплощаться в действия.

Фантазия и высокий уровень абстрактного мышления сделали человека самым успешным видом на Земле.

Даже если мы правильно настроим области и связи между ними, этого будет не достаточно для получения действующей модели. Необходимы безусловные рефлексы. Человек рождается с богатым набором рефлекторных механизмов, старательно отобранных эволюцией.

Настройка безусловных рефлексов для модели является важным моментом, учитывая тот факт, что обучение новым рефлексам происходит всегда на основе уже имеющихся рефлексов. Если какое-либо действие не будет вовлечено в какой-нибудь безусловный рефлекс, то обучиться управлять этим действием будет невозможно. В биологических системах изначально не закладывается «четких» рефлексов. После рождения мы не можем точно управлять нашими конечностями или, к примеру, ходить. Это связанно с тем, что невозможно определить заранее некоторые параметры тела, размеры конечностей, их вес, усилие создаваемое мышцами и т.д. причем эти параметры еще и динамически изменяются в процессе роста организма. Поэтому многие безусловные рефлексы имеют в ответе некоторое поле действий, а в заголовке поле активирующих его рецепторов. Так же закладывается эмоциональный механизм, связанный с безусловными рефлексами, который будет запускать рефлексы для корректировки в определённый момент развития.

Рассмотрим механизм корректировки рефлексов на примере детского лепета. В соответствии с определенным этапом развития запускается механизм лепетания, т.е. происходит практически спонтанный запуск «нечетких» рефлексов. При их запуске ребёнок начинает произносить различные звуки, иногда эти же рефлексы провоцируются и услышанным звуком со стороны. Произнесенные звуки зачастую не соответствуют ожидаемым, т.е. не соответствуют звукам запускающим рефлекс, или запускающим гипотетически. Ребёнок слышит издаваемые им самим звуки, получая обратную связь между командой и результирующим действием. Далее в силу вступает эмоциональный механизм новизны, который связывает центр потребности в новизне с речевым актом, который дает новую ассоциацию между слышимым звуком и внутренним мотивом, побудившим к действию. Что приводит к многократному повторению действия приводящего к насыщению чувства новизны. Утверждается, что ребёнок в период лепета произносит все звуки всех языков на Земле. Многократное повторение звуков приводит к формированию чётких образов действий в соответствии с желанным результатом.

Аналогично происходит и овладение моторно-двигательной системой. Изначально движения младенцев практически хаотичны, присутствует только увеличение двигательной активности как реакция на эмоциональный стимул. Но со временем происходит сопоставление движений и зрительного восприятия, тактильного и восприятия положения тела.

Некоторые безусловные рефлексы не так примитивны, в определённых случаях в нервной системе заложены шаблонные образы, и перенести такие шаблоны из биологических систем в компьютерную модель практически невозможно. Человек имеет врожденную способность к распознаванию эмоций и движений особей своего вида. Поэтому в отношении некоторых аспектов обучения будет необходимость применять некоторые обходные пути.

Что бы миновать процесс длительного обучения моторно-двигательной системы через многочисленные попытки ползания, вставаний, ходьбы и череду падений для роботов андроидов возможно применить метод перехвата управления.

Человек может передать свой опыт управления телом роботу посредством специальных устройств и технологий перехвата движений. В модели нервной системы робота с перехваченным управлением при моторных действиях будут активироваться соответствующие представительства, так если бы эти движения выполнял сам робот. Благодаря чему формировались бы необходимые образы и ассоциативные связи. К примеру, во время обучения при команде: «Подыми руки» — обучающий в режиме перехвата движений сам подымает свои руки, то это приводило бы формированию условного рефлекса между командой и действием, а также формировалась бы ассоциативная связь между командой и образом сформированным обработкой датчиков положения тела.

В процессе обучения электронной модели мозга всегда возможно управлять пластичностью желаемых областей, а так же есть возможность заглянуть «внутрь» процесса обучения, и выделять, обозначать и укреплять получаемые образы. Что должно существенно ускорить процесс обучения искусственных нервных систем в соотношении с обучением человека. Как уже стало ясно, модель, построенная по описанным принципам, будет обучаться по большей части подобно человеку, без разделения обучения и взаимодействия с окружающей средой.

Вместо заключения

Данным циклом статей заканчивается очередной этап исследований и разработки. Программа, разработанная для моделирования хоть и ограниченна в своем функционале, позволила сформировать теоретическую основу для дальнейшей работы. Конечно, полученная теория еще требует доработки, а так же практических подтверждений и проверок. Но уже сейчас она позволят иначе взглянуть на задачу моделирования нервной системы. Следующий шаг, это разработка новой среды моделирования, которая позволит создать модели более масштабных процессов протекающих в нервной системе. А так же воплотить ряд идеей, наблюдений и теоретических выводов.
Я не являюсь деятелем науки, и основной мой род деятельности не связан с разработкой интеллектуальных систем, как и с нейробиологией. Но я приложу все усилия для того чтобы проект пришел к своему логическому завершению. Я буду рад рассмотреть Ваши предложения, советы и рекомендации, а так же конструктивную критику. О новостях развития проекта я обязательно буду рассказывать на страницах GeekTimes и своем ютуб канале. Всем спасибо!
P.S. Будет негуманным выложить исходники без пояснений. Поэтому ссылку на исходник и некоторые пояснения по алгоритму и логике выложу в отдельной статье.

Механизм создания и проведения потенциала действия

В 1937 году Джон Захари Младший определил что гигантский аксон кальмара может быть использован для изучения электрических свойств аксонов. Аксоны кальмара были выбраны из-за того что они намного крупнее человеческих. Если вставить внутрь аксона электрод то можно замерить его мембранный потенциал.

Мембрана аксона содержит в себе потенциал-зависимые ионные каналы. Они позволяют аксону генерировать и проводить по своему телу электрические сигналы называемые потенциалами действия. Эти сигналы образуются и распространяются благодаря электрически заряженным ионам натрия (Na+), калия (K+), хлора (Cl-), кальция (Ca2+).

Давление, растяжение, химические факторы или изменение мембранного потенциала могут активировать нейрон. Происходит это вследствие открытия ионных каналов которые позволяют ионам пересекать мембрану клетки и соответственно изменять мембранный потенциал.

Тонкие аксоны расходуют меньше энергии и метаболических веществ для проведения потенциала действия, но толстые аксоны позволяют проводить его быстрее.

Для того чтобы проводить потенциалы действия более быстро и менее энергозатратно нейроны могут использовать для покрытия аксонов специальные глиальные клетки называемые олигодендроцитами в ЦНС или шванновскими клетками в переферической нервной системе. Эти клетки покрывают аксоны не полностью, оставляя промежутки на аксонах открытые внеклеточному веществу. В этих промежутках повышенная плотность ионных каналов. Они называются перехватами Ранвье. Через них и проходит потенциал действия посредством электрического поля между промежутками.

Как выбрать функцию активации?

Настало время решить, какую из функций активации использовать. Следует ли для каждого случая использовать ReLu? Или сигмоиду? Или tanh? На эти вопросы нельзя дать однозначного ответа. Когда вы знаете некоторые характеристики функции, которую пытаетесь аппроксимировать, выбирайте активационную функцию, которая аппроксимирует искомую функцию лучше и ведет к более быстрому обучению.

Например, сигмоида хорошо показывает себя в задачах классификации (посмотрите еще раз на пункт про сигмоиду. Не присущи ли ей свойства идеального классификатора?), так как аппроксимацию классифицирующей функции комбинацией сигмоид можно провести легче, чем используя ReLu, например.

Используйте функцию, с которой процесс обучения и сходимость будут быстрее. Более того, вы можете использовать собственную кастомную функцию! Если вы не знаете природу исследуемой функции, в таком случае начните с ReLu и потом работайте в обратном направлении. В большинстве случаев ReLu работает как хороший аппроксиматор.

Классификация

Структурная классификация

На основании числа и расположения дендритов и аксона нейроны делятся на безаксонные, униполярные нейроны, псевдоуниполярные нейроны, биполярные нейроны и мультиполярные (много дендритных стволов, обычно эфферентные) нейроны.

Безаксонные нейроны

— небольшие клетки, сгруппированы вблизи спинного мозга в межпозвоночных ганглиях, не имеющие анатомических признаков разделения отростков на дендриты и аксоны. Все отростки у клетки очень похожи. Функциональное назначение безаксонных нейронов слабо изучено.

Униполярные нейроны

— нейроны с одним отростком, присутствуют, например в сенсорном ядре тройничного нерва в среднем мозге. Многие морфологи считают, что униполярные нейроны в теле человека и высших позвоночных не встречаются.

Биполярные нейроны

— нейроны, имеющие один аксон и один дендрит, расположенные в специализированных сенсорных органах — сетчатке глаза, обонятельном эпителии и луковице, слуховом и вестибулярном ганглиях.

Мультиполярные нейроны

— нейроны с одним аксоном и несколькими дендритами. Данный вид нервных клеток преобладает в центральной нервной системе.

Псевдоуниполярные нейроны

— являются уникальными в своём роде. От тела отходит один отросток, который сразу же Т-образно делится. Весь этот единый тракт покрыт миелиновой оболочкой и структурно представляет собой аксон, хотя по одной из ветвей возбуждение идёт не от, а к телу нейрона. Структурно дендритами являются разветвления на конце этого (периферического) отростка. Триггерной зоной является начало этого разветвления (то есть находится вне тела клетки). Такие нейроны встречаются в спинальных ганглиях.

Функциональная классификация

По положению в рефлекторной дуге различают афферентные нейроны (чувствительные нейроны), эфферентные нейроны (часть из них называется двигательными нейронами, иногда это не очень точное название распространяется на всю группу эфферентов) и интернейроны (вставочные нейроны).

Афферентные нейроны

(чувствительный, сенсорный, рецепторный или центростремительный). К нейронам данного типа относятся первичные клетки органов чувств и псевдоуниполярные клетки, у которых дендриты имеют свободные окончания.

Эфферентные нейроны

(эффекторный, двигательный, моторный или центробежный). К нейронам данного типа относятся конечные нейроны — ультиматные и предпоследние — не ультиматные.

Ассоциативные нейроны

(вставочные или интернейроны) — группа нейронов осуществляет связь между эфферентными и афферентными.

Секреторные нейроны

— нейроны, секретирующие высокоактивные вещества (нейрогормоны). У них хорошо развит комплекс Гольджи, аксон заканчивается аксовазальными синапсами.

Морфологическая классификация

Морфологическое строение нейронов многообразно. При классификации нейронов применяют несколько принципов:

• учитывают размеры и форму тела нейрона;
• количество и характер ветвления отростков;
• длину аксона и наличие специализированных оболочек.

По форме клетки, нейроны могут быть сферическими, зернистыми, звездчатыми, пирамидными, грушевидными, веретеновидными, неправильными и т. д. Размер тела нейрона варьирует от 5 мкм у малых зернистых клеток до 120—150 мкм у гигантских пирамидных нейронов.

По количеству отростков выделяют следующие морфологические типы нейронов[7]:

• униполярные (с одним отростком) нейроциты, присутствующие, например, в сенсорном ядре тройничного нерва в среднем мозге;
• псевдоуниполярные клетки, сгруппированные вблизи спинного мозга в межпозвоночных ганглиях;
• биполярные нейроны (имеют один аксон и один дендрит), расположенные в специализированных сенсорных органах — сетчатке глаза, обонятельном эпителии и луковице, слуховом и вестибулярном ганглиях;
• мультиполярные нейроны (имеют один аксон и несколько дендритов), преобладающие в ЦНС.

Функции мотонейронов

Афферентные нейроны – часть периферической нервной системы. Их воспринимающие отделы – рецепторы – находятся в кожных покровах, стенках трубчатых органов или сосудов, капсулах паренхиматозных органов.
Афферентные нейроны являются псевдоуниполярными. То есть они имеют один отросток, который отходит от тела и потом разделяется на два. Таким образом, от рецептора к телу подходит один отросток, а потом от него к центру отходит другой.

Само тело расположено в спинальных ганглиях, или узлах. Эти образования полностью состоят из тел нервных клеток.

Основная функция афферентного нейрона уже была отмечена выше – восприятие информации извне при помощи рецептором. Но что под собой подразумевает эта фраза?

В основе восприятия любого сигнала лежит процесс анализа информации. Его суть заключается в детальном “разложении” раздражителя на отдельные составляющие, тщательном изучении и выявлении отдельных его свойств. Но в рецепторе происходит только поверхностный анализ информации. Поэтому одна рефлекторная дуга не способна обеспечить сложные реакции. Например, один из рефлексов – разгибание в колене на удар молоточком по сухожилию.

Более тонкое “разложение” раздражителя осуществляется в центральной нервной системе. А наиболее тонко и тщательно этот процесс обеспечивает кора головного мозга как самая исторически новая структура центральной нервной системы.

Таким образом, афферентный нейрон – важная часть рефлекторной дуги, благодаря которой мы способны воспринимать раздражение извне и быстро реагировать на него.

Все действия физического характера, которые может осуществить человек, реализуются по одному и тому же принципу: за счёт сокращения и растяжения мышц и сухожилий. Происходят эти сокращения благодаря существованию сообщения всех мышц и сухожилий с единым координационным центром – головным мозгом. Состоят же эти сообщения из разнозадачных клеток – нейронов. Соответственно в реализации двигательных функций участвую специальные двигательные клетки – мотонейроны.

Сокращение мышц происходит за счёт смены всего двух команд: расслабиться и напрячься – тоесть, распрямиться и сократиться. За каждое из этих состояний отвечает специальный мотонейрон. Мотонейрон, отвечающий за сокращение, называют сгибателем, а отвечающий за расслабление – разгибателем.

Ко всем мышечным волокнам присоединены свои мотонейроны. Вмести мотоклетка и мышечное волокно, к которому она присоединена, называются «двигательной единицей». Каждая такая единица функционирует независимо от других подобных единиц. И в каждую двигательную единицу входят мышечные волокна только одного типа.

Типы мышечных волокон:

1. Медленные оксидативные волокна.
2. Быстрые оксидативные волокна.
3. Быстрые гликолитические волокна.

Особенности нервных клеток

Нейроны чем-то отдалённо напоминают колонию муравьев – их так же много и они разделены на разнообразные группы по специализации. Именно в разности этих специализаций и заключаются их специфические особенности и отличия.

Виды мотонейронов, их характеристика и локализация в коре головного мозга:

• Центральные иннервирующие сгибатели: локализуются в области прецентральной извилины и отвечают за сжатие (сокращение) скелетных мышц.
• Центральные иннервирующие разгибатели: локализуются в области заднего мозга и отвечают за расслабление скелетных мышц.
• Периферические альфа: клетки, передающие волокнам мышц команды к сокращению. Локализуются в передних рогах спинного мозга.
• Периферические гамма: клетки, отвечающие за тонус мышц. Локализуются там же, в передних рогах спинного мозга.
• Вставочные: присутствую во всех отделах ЦНС, и осуществляют роль коммуникации всех сигналов в ЦНС.

Учитывая, что нейроны обеспечивают работу всех систем организма, функции нервных клеток должны быть очень разнообразны. К тому же все они пока еще даже до конца и не выяснены. Среди множества различных классификаций этих функций мы выберем одну, наиболее понятную и близкую к проблемам психологической науки.

Это основная функция нейронов, с которой связаны и другие, хоть и не менее значимые. Эта же функция является и наиболее изученной. Все внешние сигналы, поступающие на органы, попадают в головной мозг, где обрабатываются. А затем в результате обратной связи в виде импульсов-команд переносятся по эфферентным нервным волокнам обратно к органам чувств, мышцам и т. д.

Такая постоянная циркуляция информации происходит не только на уровне периферической нервной системы, но и в головном мозге. Связи между нейронами, обменивающимися информацией, образуют необычайно сложные нейронные сети. Представьте только: в головном мозге насчитывается не менее 30 млрд нейронов, и каждый из них может иметь до 10 тысяч связей.

Нейроны отвечают за то, что мы называем памятью. Точнее, как выяснили нейрофизиологи, сохранение следов проходивших по нейронным цепям сигналов является своеобразным побочным эффектом деятельности мозга. Основа памяти – это те самые белковые молекулы – нейротрансмиттеры, которые возникают в качестве связующих мостиков между нервными клетками.

Это обеспечение взаимодействия между разными отделами головного мозга. Мгновенные «вспышки» передающихся и принимающихся сигналов, очаги повышенного возбуждения в коре головного мозга – это и есть рождение образов, чувств и мыслей. Сложные нервные связи, объединяющие между собой различные участки коры больших полушарий и проникающие в подкорковую зону, являются продуктом нашей психической деятельности. И чем больше возникает таких связей, тем лучше память и продуктивнее мышление. То есть, по сути, чем больше мы думаем, тем умнее становимся.

Деятельность нервных клеток не ограничивается информационными процессами. Нейроны – это настоящие фабрики белков. Это те самые нейротрансмиттеры, которые не только выполняют функцию «мостика» между нейронами, но и играют огромную роль в регуляции работы нашего организма в целом. В настоящее время насчитывается около 80 видов этих белковых соединений, выполняющих разнообразные функции:

• Норадреналин, иногда его называют гормоном ярости или стресса. Он тонизирует организм, повышает работоспособность, заставляет чаще биться сердце и готовит организм к немедленным действиям по отражению опасности.
• Допамин – это главный тоник нашего организма. Он участвует в активизации деятельности всех систем, в том числе во время пробуждения, при физических нагрузках и создает положительный эмоциональный настрой вплоть до эйфории.
• Серотонин – это тоже вещество «хорошего настроения», хоть на физическую активность оно и не влияет.
• Глутамат – трансмиттер, необходимый для работы памяти, без него невозможно долгосрочное хранение информации.
• Ацетилхолин управляет процессами сна и пробуждения, а также необходим для активизации внимания.

Нейротрансмиттеры, точнее их количество, влияют на здоровье организма. И если возникают какие-то проблемы с выработкой этих белковых молекул, то могут развиться серьезные заболевания. Например, недостаток допамина – это одна из причин болезни Паркинсона, а если этого вещества вырабатывается слишком много, то может развиться шизофрения. Если же недостаточно вырабатывается ацетилхолина, то может возникнуть весьма неприятная болезнь Альцгеймера, которая сопровождается слабоумием.

Формирование нейронов головного мозга начинается еще до рождения человека, и в течение всего периода взросления происходит активное формирование и усложнение нервных связей. Долгое время считалось, что у взрослого человека новые нервные клетки появляться не могут, а вот процесс их отмирания неизбежен.

Но недавние исследования опровергли этот пессимистический прогноз. Швейцарские ученые доказали, что есть отдел головного мозга, который отвечает за рождение новых нейронов. Это гиппокамп, он ежедневно продуцирует до 1400 новых нервных клеток. А нам с вами остается только активнее включать их в работу головного мозга, получать и осмысливать новую информацию, тем самым создавая новые нервные связи и усложняя нейронную сеть.

Развитие и рост нейрона

Конус роста
Вопрос о делении нейронов в настоящее время остаётся дискуссионным. По одной из версий нейрон развивается из небольшой клетки-предшественницы, которая перестаёт делиться ещё до того, как выпустит свои отростки. Первым начинает расти аксон, а дендриты образуются позже. На конце развивающегося отростка нервной клетки появляется утолщение, которое прокладывает путь через окружающую ткань. Это утолщение называется конусом роста нервной клетки. Он состоит из уплощенной части отростка нервной клетки с множеством тонких шипиков. Микрошипики имеют толщину от 0,1 до 0,2 мкм и могут достигать 50 мкм в длину, широкая и плоская область конуса роста имеет ширину и длину около 5 мкм, хотя форма её может изменяться. Промежутки между микрошипиками конуса роста покрыты складчатой мембраной. Микрошипики находятся в постоянном движении — некоторые втягиваются в конус роста, другие удлиняются, отклоняются в разные стороны, прикасаются к субстрату и могут прилипать к нему.

Конус роста заполнен мелкими, иногда соединёнными друг с другом, мембранными пузырьками неправильной формы. Под складчатыми участками мембраны и в шипиках находится плотная масса перепутанных актиновых филаментов. Конус роста содержит также митохондрии, микротрубочки и нейрофиламенты, аналогичные имеющимся в теле нейрона.

Микротрубочки и нейрофиламенты удлиняются главным образом за счёт добавления вновь синтезированных субъединиц у основания отростка нейрона. Они продвигаются со скоростью около миллиметра в сутки, что соответствует скорости медленного аксонного транспорта в зрелом нейроне. Поскольку примерно такова и средняя скорость продвижения конуса роста, возможно во время роста отростка нейрона в его дальнем конце не происходит ни сборки, ни разрушения микротрубочек и нейрофиламентов. Новый мембранный материал добавляется у окончания. Конус роста — это область быстрого экзоцитоза и эндоцитоза, о чём свидетельствует множество находящихся здесь пузырьков. Мелкие мембранные пузырьки переносятся по отростку нейрона от тела клетки к конусу роста с потоком быстрого аксонного транспорта. Мембранный материал, синтезируется в теле нейрона, переносится к конусу роста в виде пузырьков и включается здесь в плазматическую мембрану путём экзоцитоза, удлиняя таким образом отросток нервной клетки.

Росту аксонов и дендритов обычно предшествует фаза миграции нейронов, когда незрелые нейроны расселяются и находят себе постоянное место.

Сигмоида

Сигмоида выглядит гладкой и подобна ступенчатой функции. Рассмотрим её преимущества.

Во-первых, сигмоида — нелинейна по своей природе, а комбинация таких функций производит тоже нелинейную функцию. Теперь мы можем стэкать слои.

Еще одно достоинство такой функции — она не бинарна, что делает активацию аналоговой, в отличие от ступенчатой функции. Для сигмоиды также характерен гладкий градиент.

Если вы заметили, в диапазоне значений X от -2 до 2 значения Y меняется очень быстро. Это означает, что любое малое изменение значения X в этой области влечет существенное изменение значения Y. Такое поведение функции указывает на то, что Y имеет тенденцию прижиматься к одному из краев кривой.

Сигмоида действительно выглядит подходящей функцией для задач классификации. Она стремиться привести значения к одной из сторон кривой (например, к верхнему при х=2 и нижнему при х=-2). Такое поведение позволяет находить четкие границы при предсказании.

Другое преимущество сигмоиды над линейной функцией заключается в следующем. В первом случае имеем фиксированный диапазон значений функции — [0,1], тогда как линейная функция изменяется в пределах (-inf, inf). Такое свойство сигмоиды очень полезно, так как не приводит к ошибкам в случае больших значений активации.

Сегодня сигмоида является одной из самых частых активационных функций в нейросетях. Но и у неё есть недостатки, на которые стоит обратить внимание.

Вы уже могли заметить, что при приближении к концам сигмоиды значения Y имеют тенденцию слабо реагировать на изменения в X. Это означает, что градиент в таких областях принимает маленькие значения. А это, в свою очередь, приводит к проблемам с градиентом исчезновения. Рассмотрим подробно, что происходит при приближении активационной функции к почти горизонтальной части кривой на обеих сторонах.

В таком случае значение градиента мало или исчезает (не может сделать существенного изменения из-за чрезвычайно малого значения). Нейросеть отказывается обучаться дальше или делает это крайне медленно (в зависимости от способа использования или до тех пор, пока градиент/вычисление не начнет страдать от ограничений на значение с плавающей точкой). Существуют варианты работы над этими проблемами, а сигмоида всё ещё очень популярна для задач классификации.

Свойства и функции нейронов

Свойства:

• Наличие трансмембранной разницы потенциалов
  (до 90 мВ), наружная поверхность электроположительна по отношению к внутренней поверхности.
• Очень высокая чувствительность
  к некоторым химическим веществам и электрическому току.
• Способность к нейросекреции
  , то есть к синтезу и выделению особых веществ (нейромедиаторов), в окружающую среду или синаптическую щель.

• Высокое энергопотребление
  , высокий уровень энергетических процессов, что обуславливает необходимость постоянного притока основных источников энергии — глюкозы и кислорода, необходимых для окисления.

Функции:

• Приёмная функция
  (синапсы — точки контакта, от рецепторов и нейронов получаем информацию в виде импульса).
• Интегративная функция
  (обработка информации, в результате на выходе нейрона формируется сигнал, несущий информацию всех суммированных сигналов).
• Проводниковая функция
  (от нейрона по аксону идет информация в виде электрического тока к синапсу).
• Передающая функция
  (нервный импульс, достигнув окончание аксона, который уже входит в структуру синапса, обуславливает выделение медиатора — непосредственного передатчика возбуждения к другому нейрону или исполнительному органу).

Гиперболический тангенс

Еще одна часто используемая активационная функция — гиперболический тангенс.

Гиперболический тангенс очень похож на сигмоиду. И действительно, это скорректированная сигмоидная функция.

Поэтому такая функция имеет те же характеристики, что и у сигмоиды, рассмотренной ранее. Её природа нелинейна, она хорошо подходит для комбинации слоёв, а диапазон значений функции -(-1, 1). Поэтому нет смысла беспокоиться, что активационная функция перегрузится от больших значений. Однако стоит отметить, что градиент тангенциальной функции больше, чем у сигмоиды (производная круче). Решение о том, выбрать ли сигмоиду или тангенс, зависит от ваших требований к амплитуде градиента. Также как и сигмоиде, гиперболическому тангенсу свойственная проблема исчезновения градиента.

Тангенс также является очень популярной и используемой активационной функцией.

Примечания

1. Williams R. W., Herrup K.
   The control of neuron number. (англ.) // Annual review of neuroscience. — 1988. — Vol. 11. — P. 423—453. — DOI:10.1146/annurev.ne.11.030188.002231. — PMID 3284447. [исправить]
2. Azevedo F. A., Carvalho L. R., Grinberg L. T., Farfel J. M., Ferretti R. E., Leite R. E., Jacob Filho W., Lent R., Herculano-Houzel S.
   Equal numbers of neuronal and nonneuronal cells make the human brain an isometrically scaled-up primate brain. (англ.) // The Journal of comparative neurology. — 2009. — Vol. 513, no. 5. — P. 532—541. — DOI:10.1002/cne.21974. — PMID 19226510. [исправить]
3. Camillo Golgi (1873). «Sulla struttura della sostanza grigia del cervelo». Gazzetta Medica Italiana. Lombardia33
   : 244-246.
4. Айзек Азимов.
   Краткая история биологии. — Рипол Классик, 2013. — С. 114.
5. Jean-Pierre Changeux,Laurence Garey.
   Neuronal Man – The Biology of Mind. — Princeton University Press, 1997. — С. 28.
6. А именно, термин «нейрон» встречается в цитате «Das Nervensystem besteht aus zahlreichen, untereinander anatomisch wie genetisch nicht zusammenhängenden Nerveneinheiten (Neuronen)» из следующего источника:Heinrich Wilhelm Gottfried von Waldeyer-Hartz (1891). «Ueber einige neuere Forschungen im Gebiete der Anatomie des Centralnervensystems». Deutsche medicinische Wochenschrift17
   (50): 1352. DOI:10.1055/s-0029-1206907.
7. см.

Виды нейронов

Описываемые клетки классифицируются по функциональности и особенностям строения. В первом случае различают чувствительные, вставочные, двигательные нейроны. Альтернативные медицинские названия – афферентные, ассоциативные и командно-эфферентные. Отдельно рассматриваются секреторные нейроны. Эти клетки вырабатывают гормоны, высокоактивные вещества, участвующие в коррекции эндокринного баланса, регулирующие эмоции и психологический фон. Строение нейрона предполагает следующую классификацию:

• униполярные
  – имеют всего один отросток;
• биполярные
  – оснащены дендритом с одного бока и аксоном с другой стороны;
• псевдоуниполярные
  – отросток один, но он разветвляется;
• мультиполярные
  – самые распространенные, имеющие множество «разбросанных» дендритов. Аксон в одном экземпляре.

Литература

• Поляков Г. И., О принципах нейронной организации мозга, М: МГУ, 1965
• Косицын Н. С. Микроструктура дендритов и аксодендритических связей в центральной нервной системе. М.: Наука, 1976, 197 с.
• Немечек С. и др. Введение в нейробиологию, Avicennum: Прага, 1978, 400 c.
• Блум Ф., Лейзерсон А., Хофстедтер Л. Мозг, разум и поведение
• Мозг (сборник статей: Д. Хьюбел, Ч. Стивенс, Э. Кэндел и дp. — выпуск журнала Scientific American (сентябрь 1979)). М. :Миp, 1980
• Савельева-Новосёлова Н. А., Савельев А. В. Устройство для моделирования нейрона. А. с. № 1436720, 1988
• Савельев А. В.
  Источники вариаций динамических свойств нервной системы на синаптическом уровне // журнал “Искусственный интеллект”, НАН Украины. — Донецк, Украина, 2006. — № 4. — С. 323-338.

Что такое нейрон?

Представленная органическая единица представляет собой базовый элемент головного мозга. Есть много терминов, что такое нейроны, но общее определение – клетка, подверженная электрической и биохимической возбудимости. Она предназначена для получения, передачи и выдачи информации, ее анализа и накопления. Строение нейрона предполагает его взаимосвязь с другими аналогичными клетками. Благодаря этому формируются высокофункциональные нервные сети.