X Код для використання на сайті:
Ширина px

Скопіюйте цей код і вставте його на свій сайт

X Для завантаження презентації, скористайтесь соціальною кнопкою для рекомендації сервісу SvitPPT Завантажити собі цю презентацію

Презентація на тему:
Основи нейромережевих технологій

Завантажити презентацію

Основи нейромережевих технологій

Завантажити презентацію

Презентація по слайдам:

Слайд 1

Тема №12 Основи нейромережевих технологій

Слайд 2

Нейронні мережі: загальний вступ Нейронні мережі, або штучні нейронні мережі, діють за принципами, подібними до принципів функціонування людського мозку. Конекціоністський підхід. Словесні, символьні знання не використовуються. Про пояснення не йдеться. Моделювання підсвідомого мислення.

Слайд 3

Нейронні мережі: базові поняття Штучний нейрон - деяка модель, яка імітує найважливіші риси природного нейрону, або реалізація такої моделі (апаратна або програмна). Нейронна мережа - сукупність взаємопов’язаних штучних нейронів. Основна ідея - навчання. Нейрокомп’ютер – комп’ютерна система, побудована за принципами, характерними для нейронних мереж. Програмні імітатори.

Слайд 4

Нейронні мережі: основний принцип навчання Основний принцип навчання нейронної мережі полягає в налаштуванні зв’язків між нейронами: зміні коефіцієнтів зв’язків; перебудові структури тощо.

Слайд 5

Основна характеристика нейромережевого алгоритму задання структури (топології) нейронної мережі; задання правила навчання.

Слайд 6

Основні сфери застосування розпізнавання образів; кластерний аналіз; прогнозування; фільтрація; організація пам’яті.

Слайд 7

Модель штучного нейрона В основі - модель, запропонована Мак-Каллоком і Піттсом в 1943 р. (хоча і з рядом модифікацій).

Слайд 8

Штучний нейрон: продовження x1 w1 . . . x2 w2 xn wn Поріг s F(s) y

Слайд 9

Штучний нейрон: математика F(s) - активаційна функція

Слайд 10

Схема нейрона: еквівалентна форма x1 w1 . . . x2 w2 xn wn s F(s) y 1 -

Слайд 11

Навчання нейрона: основний принцип Основний принцип навчання нейрона полягає в корекції вагових коефіцієнтів.

Слайд 12

Типові активаційні функції порогова: F(s)=1, якщо s 0; 0, якщо s0.

Слайд 13

Нейрони Мак-Каллока і Піттса: ключовий результат Ключовий результат Мак-Каллока і Піттса: певним чином організована сукупність нейронів може обчислювати будь-яку обчислювану функцію.

Слайд 14

Приклад: реалізація кон’юнкції =2 w1=1 w2=1 Порогова функція

Слайд 15

Персептрон Розенблатта (1958 р) x1 x2 xn . . . S-елементи A-елементи R-елементи W

Слайд 16

Алгоритми навчання: загальний огляд Досить однотипні за своєю природою; за своєю математичною суттю практично ідентичні згаданому раніше алгоритму персептрона. Основна ідея: корекція коефіцієнтів у випадку, якщо після пред’явлення чергового навчального вектора фактичний вихід не збігається з бажаним. Така корекція може здійснюватися після кожного пред’явлення чергового вектора.

Слайд 17

Приклад: правило Уїдроу-Хопфа Інша назва - -правило. Для нейрона з лінійною функцією активації (ADALINE). wj:= wj + (d-y)xj , := - (d-y)

Слайд 18

Обмеженість простих персептронів Ряд експериментів, в першу чергу - з розпізнавання. Аналіз Мінського і Пейперта: системи, подібні до персептронів, в принципі не можуть розв’язувати ряд задач. По суті - алгоритми навчання таких систем еквівалентні знаходженню лінійної розділяючої функції. Тобто - якщо є лінійне розділення, то алгоритм знайде коефіцієнти лінійної розділяючої функції. Якщо ні - то ні. Класичний приклад: задача XOR.

Слайд 19

Задача AND: можна навчити

Слайд 20

Задача OR: можна навчити

Слайд 21

Задача XOR: не можна навчити

Слайд 22

Сучасні нейронні мережі: загальний огляд З початку 80-х років – відновлення інтересу. Нові підходи та нові алгоритми навчання. Існує дуже багато напрямків. Ми розглянемо: багатошарові нейронні мережі; мережі Хопфілда; карти Кохонена.

Слайд 23

Багатошарові нейронні мережі x1 x2 xn . . . W1 Wn y1 . . . . . . ym Сховані шари

Слайд 24

Багатошарові нейронні мережі: загальний опис Вхідний шар сприймає вхідні дані та розподіляє їх до наступного шару. Вихідний шар видає результати. Між ними - проміжні, або сховані шари. Вихід кожного нейрону попереднього шару з’єднаний з входами усіх нейронів наступного шару; wik - зв’язок між i-м нейроном попереднього шару та k-м нейроном наступного.

Слайд 25

Багатошарові нейронні мережі: продовження Ключова ідея: багатошарові нейронні мережі можуть здійснювати нелінійне розділення. Класичний метод - метод зворотного розповсюдження помилок (back propagation). Активаційна функція не повинна бути лінійною. Часто використовуються, зокрема, сигмоїдні активаційні функції.

Слайд 26

Основна теорема Будь-яка неперервна функція від n змінних може бути з довільною мірою точності наближена трьохшаровою нейронною мережею з одним схованим шаром. Нейронів на проміжному шарі має бути принаймні 2n+1. Теорема стверджує про принципову можливість, але не каже, якою саме має бути така мережа, зокрема якими мають бути активаційні функції. Взагалі, питання про кількість схованих шарів і кількість нейронів на них досліджені недостатньо.

Слайд 27

Мережа для задачі XOR 0.5 1.5 - 0.5 - 1 - 1 - 1 - 1 - 1 1

Слайд 28

Метод зворотного поширення помилок Файл neuron.doc. Недоліки: повільно сходиться; проблема локальних мінімумів.

Слайд 29

Нейронні мережі: прогнозування Дано: послідовні значення випадкового процеса x1,…, xn. Потрібно: прогноз процесу; визначити xn+1.

Слайд 30

Модель лінійної авторегресії

Слайд 31

Входи і виходи мережі Входи: xn-p, … , xn-1. Вихід: xn.

Слайд 32

Мережі Хопфілда Використовуються перш за все для запам’ятовування образів; асоціативна пам’ять. Але мережа Хопфілда може застосовуватися і для розпізнавання.

Слайд 33

Архітектура і функціонування: загальний принцип Архітектура - кожний нейрон зв’язаний один з одним; матриця вагових коефіцієнтів - X’X-I, X-матриця даних. При подачі вхідного вектора мережа функціонує, поки вихід не перестане змінюватися. Тоді він буде дорівнювати одному з образів, які були занесені до пам’яті.

Слайд 34

Мережа Хопфілда: більш детальний опис роботи Вхідний вектор (x1, … xn) встановлює початкові значення всіх елементів. Елемент вхідного вектора для оновлення вибирається випадковим чином; вибраний елемент змінює свій стан на основі зваженої суми сигналів від інших елементів: (x1t+1, … xnt+1) -> (x1t, … xnt) . xi t+1:= F( xi twji ); Вибирається інший елемент, і процес повторюється. Критерій завершення – коли жодний з елементів, вибраних для оновлення, не змінює свого значення.

Слайд 35

Принцип мінімізації енергії Кажуть, що мережа Хопфілда мінімізує енергію зв’язків між нейронами

Слайд 36

Характерний експеримент Розпізнавання літер “А”, “Б”, “Н”, “И” – спочатку незашумлених, потім зашумлених (10%, 20% і т.п).

Завантажити презентацію

Презентації по предмету Інформатика