Теоретический материал к лабораторной работе №1 МАТЕМАТИЧЕСКИЙ НЕЙРОН
Математический нейрон был предложен американскими учеными Уор-
реном Мак-Каллоком и Вальтером Питтсем в 1943г.
Математический нейрон – это математическая модель биологического нейрона мозга. Его изображают в виде кружочка со стрелками, обозначаю- щими входы и выход. На рис.1 математический нейрон имеет J входов и один выход.
3
2
1
Рис. 1. Математический нейрон Мак-Каллока – Питтса
Через входы математический нейрон принимает входные сигналы x j ,
которые суммирует, умножая каждый входной сигнал на некоторый весовой коэффициент wj :
S =∑J |
wj xj . |
|
(1) |
|
j =1 |
|
|
|
Затем математический нейрон формирует свой выходной сигнал со- |
гласно правилу: |
|
|
|
|
1, |
если S ≥ θ |
, |
(2) |
y = |
если S < θ |
0, |
|
|
в котором величину θ называют порогом чувствительности нейрона.
Таким образом, математический нейрон может существовать в двух со- стояниях. Если взвешенная сумма входных сигналов S меньше порога θ, то его выходной сигнал y равен нулю. В этом случае говорят, что нейрон не возбужден. Если же входные сигналы достаточно интенсивны и их взвешен- ная сумма достигает порога чувствительности θ, то нейрон переходит в воз- бужденное состояние, и на его выходе, согласно формуле (2), образуется сиг- нал y =1.
Весовые коэффициенты wj имитируют электропроводность нервных
волокон – силу синаптических связей между нейронами. Чем эти силы выше, тем больше вероятность перехода нейрона в возбужденное состояние. С дру- гой стороны, вероятность перехода нейрона в возбужденное состояния по- вышается при уменьшении порога чувствительности θ.
Логическая функция (2) называется активационной функцией нейрона. Ее графическое изображение имеет вид, представленный на рис.2. За этот вид ееиногда называют «функцией-ступенькой».
1
0 θ
Рис. 2. Активационная функция нейрона: «ступенька»
С помощью математического нейрона можно моделировать различные логические функции, например, функцию логического умножения «И» («AND»), функцию логического сложения «ИЛИ» («OR») и функцию логи- ческого отрицания «НЕТ» («NOT»). Таблицы истинности этих логических функций приведены на рис.3.
|
|
|
|
|
|
x1 |
x2 |
|
y |
|
|
|
|
x |
x |
2 |
y |
x |
y |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
0 |
|
0 |
|
|
|
|
0 |
0 |
0 |
0 |
1 |
|
|
|
|
|
|
0 |
1 |
|
1 |
|
|
|
|
0 |
1 |
0 |
|
|
1 |
0 |
|
|
|
|
|
|
1 |
0 |
|
1 |
|
|
|
|
1 |
0 |
0 |
|
|
|
|
|
|
|
|
|
|
|
1 |
1 |
|
1 |
|
|
|
|
1 |
1 |
1 |
|
«НЕТ» |
|
|
|
«ИЛИ» |
|
|
|
«И» |
|
|
|
|
|
|
|
Рис. 3. Таблицы истинности логических функций
С помощью этих таблиц и ф ормул (1)-(2) нетрудно убедиться, что ма- тематический нейрон, имеющий два входа с единичными силами синаптиче- ских связей w1 = w2 =1, моделирует функцию логического умножения «И»
при θ=2 , Этот же нейрон моделирует функцию логического сложения «ИЛИ» при задании θ=1. Математический нейрон с одним входом модели- рует функцию «НЕТ» при задании w =−1 и θ=0.
1 |
2 |
1 |
2 |
|
1 =1 |
2=1 |
1 =1 |
2=1 |
=−1 |
θ =2 |
θ =1 |
θ =0 |
"И" |
"ИЛИ" |
"НЕТ" |
Рис.4. Математические нейроны, моделирующие логические функции
Однако существуют логические функции, которые невозможно моде- лировать с помощью математического нейрона Мак-Каллока – Питтса. Такой логической функцией является «Исключающее ИЛИ», таблица истинности которой приведена на рис. 5.
x1 |
x2 |
y |
0 |
0 |
0 |
0 |
1 |
1 |
1 |
0 |
1 |
1 |
1 |
0 |
Рис.5. Таблица истинности функции «Исключающее ИЛИ»
Задачи, которые подобно проблеме «Исключающего ИЛИ» с помощью однослойного персептрона решены быть не могут, называют линейно нераз- делимыми задачами. В свое время ученые потратили немало сил и средств, пытаясь решить такие задачи, ошибочно полагая, что причина их неудач со- стоит в недостаточной мощности существующих компьютеров и в недоста- точномколичествесовершенных попыток.
По-видимому, нечто подобное может случиться и с Вами при выполне- нии лабораторной работы №1. Подобрав значения синаптических весов w1 , w2 и порога θ, Вы успешно справляетесь с моделированием логических
функций «И» и «ИЛИ», тогда как попытки моделирования функции «Исклю- чающее ИЛИ» к успеху не приводят. Объяснению этого явления и преодоле- нию проблемы «Исключающего ИЛИ» будет посвящена лабораторная работа №5.
В заключение отметим, что в современной литературе иногда вместо понятия порога чувствительности нейрона θ используют термин нейронное
смещения b, которое отличается от порога θ только знаком: |
b =−θ. Если |
величину b добавить к сумме (1): |
|
|
|
S =∑J |
wj x j +b , |
(3) |
|
j=1 |
|
|
то пороговая активационнаяфункция нейрона примет вид: |
|
1, |
если S ≥0; |
(4) |
y = |
если S <0, |
0, |
|
Графическое представление этой активационной функции приведено на рис. 6,а.
-1
Рис. 6. Пороговые активационные функции нейрона, заданные формулами:
а – (4); б – (5)
Еще более симметричный вид, представленный на рис. 6, б, активаци- оннаяфункция нейронаприобретает при использовании формулы:
1, |
если S ≥0; |
(5) |
y = |
−1, |
если S <0, |
|
|
В формуле (3) нейронное смещение b можно рассматривать как вес w0 некоторого дополнительного входного сигнала x0 , величина которого всегда равна единице:
S =∑J |
wj x j + w0 x0 =∑J |
wj x j |
(6) |
j=1 |
j=0 |
|
|
Нейрон с дополнительным входом x0 изображен на рис. 7.
2
1
2
0=1 1
0
Рис. 7. Нейронное смещение b интерпретируется как вес дополнительного входа w0 , сигнал которого x0 всегда равен 1
