Umělá neuronová síť, anglicky Artificial Neural Network či jen Neural Network (ANN, NN), je jeden z výpočetních modelů používaných v oblasti umělé inteligence. Vzorem je chování neuronů v mozku, od toho je odvozen i název, v současnosti se však princip neuronových sítí od původního zamýšleného napodobení neuronů liší.^[1]

Umělá neuronová síť je struktura určená pro distribuované paralelní zpracování dat. Skládá se z umělých (formálních) neuronů, jejichž volným předobrazem je biologický neuron. Neurony jsou vzájemně propojeny synaptickými vazbami a navzájem si předávají signály a transformují je pomocí aktivačních přenosových funkcí. Neuron má libovolný počet vstupů, ale pouze jeden výstup.

Využití

Neuronové sítě se používají mimo jiné pro rozpoznávání obrazů^[2] (např. ve formě pixelů) či akustických (např. rozpoznávání řeči) nebo elektrických (např. EKG, EEG) signálů^[3], dále ke klasifikaci, kompresi či segmentaci^[4] dat, k predikci vývoje časových řad (např. burzovních indexů), k analýze psaného textu^[5] či k filtrování spamu. V lékařství slouží k diagnostice onemocnění či k prohlubování znalostí o fungování informačních systémů (nervových soustav) živých organismů. Například Grossbergova síť^[6] vznikla původně jako simulace fyziologického modelu rozpoznávání vzorů na sítnici lidského oka.

Historie

První umělé neurony byly vytvořeny Warrenem McCullochem a Walterem v roce 1943.^[7] Tyto neurony fungovaly tak, že byl jejich výstup 0 nebo 1 v závislosti na tom, jestli vážená suma vstupních signálů překročila prahovou hranici, nebo ne. Jejich teorie byla, že takový neuron v principu spočte jakoukoli aritmetickou či logickou funkci. Tehdy však nebyla vypracována žádná tréninková metoda.

V padesátých letech přichází Frank Rosenblatt^[8] s perceptrony, které doprovází již i učící pravidla. Perceptrony využívá k rozpoznávání vzorů. Mimo to dokazuje, že pokud existují váhy, které zadaný problém řeší, pak k nim učící pravidlo konverguje.

Počáteční nadšení však uvadá, když je zjištěno, že takovýto perceptron umí řešit pouze lineárně separovatelné úlohy. Frank Rosenblatt se sice snaží model upravit a rozšířit, ale nedaří se mu to a tak až do osmdesátých let přestává být o perceptrony a neuronové sítě zájem.

V 80. letech dochází k vývoji vícevrstvých perceptronových sítí s asociačními pravidly, schopných aproximovat libovolnou vektorovou funkci, díky čemuž dochází k nové vlně zájmu o neuronové sítě,^[9] který později částečně upadá díky neschopnosti učit sítě o větším počtu vrstev. Až okolo roku 2010 opět dochází k renesanci neuronových síti díky objevu hloubkového učení.

Nejužívanější způsob učení neuronových síti je algoritmus zpětného šíření chyby. Podle různých zdrojů^[10][11][12] byly základy algoritmu zpětného šíření chyby v kontextu teorie řízení odvozeny z principů dynamického programování; konkrétně se na tom podíleli Henry J. Kelley v roce 1960^[13] a Arthur E. Bryson v roce 1961.^[14] Roku 1962 publikoval Stuart Dreyfus jednodušší odvození pomocí řetězového pravidla.^[15] Vladimir Vapnik cituje ve své knize o support vector machines článek z roku 1963.^[16] V roce 1969 Bryson a Yu-Chi Ho algoritmus popsali jako vícestupňovou optimalizaci dynamických systémů.

V roce 1970 Seppo Linnainmaa publikoval obecnou metodu automatického derivování (AD) diskrétních sítí vnořených diferencovatelných funkcí.^[17][18] Jedná se o moderní variantu metody zpětného šíření chyby, která je efektivní i v řídkých sítích.^[19][20]

V roce 1973 Stuart Dreyfus pomocí zpětného šíření chyby upravoval parametry řídicích systémů úměrně jejich chybovým gradientům.^[21] Paul Werbos zmínil možnost uplatnění tohoto principu na umělé neuronové sítě roku 1974^[22] a v roce 1982 tak učinil způsobem, který se používá nyní.^[23] O čtyři roky později David E. Rumelhart, Geoffrey E. Hinton a Ronald J. Williams experimentálně prokázali, že tato metoda může vést k užitečným interním reprezentacím vstupních dat v hlubších vrstvách neuronových sítí, což je základem hlubokého učení.^[24] V roce 1993 byl Eric A. Wan první, kdo vyhrál pomocí backpropagace mezinárodní soutěž v modelování dat.^[25]

V současnosti se neuronové sítě převážně užívají v úlohách zpracování přirozeného jazyka v rámci tzv. jazykových modelů jako např. Word2Vec či Transformer a v úlohách počítačového vidění v rámci tzv. konvolučních neuronových sítí.

Model umělého neuronu

Je popsána celá řada modelů neuronů. Od těch velmi jednoduchých používajících skokové přenosové funkce (perceptron) až po velmi složité popisující každý detail chování neuronu živého organismu, jako např. Hindmarshův-Roseův model neuronu^[26].

Jedním z nejpoužívanějších je model popsaný McCullochem a Pittsem^[7]:

${\displaystyle y=f(\sum _{i=1}^{N}(w_{i}{}x_{i}{})-\vartheta )}$

kde:

• ${\displaystyle x_{i}{}}$ jsou vstupy neuronu
• ${\displaystyle w_{i}{}}$ jsou synaptické váhy
• ${\displaystyle \vartheta }$ je práh
• ${\displaystyle f}$ je aktivační funkce neuronu
• ${\displaystyle y}$ je výstup neuronu

Velikost vah ${\displaystyle w_{i}{}}$ vyjadřuje uložení zkušeností do synapsí neuronu. Čím je vyšší hodnota, tím je daný vstup důležitější. V biologickém neuronu práh ${\displaystyle \vartheta }$ označuje prahovou hodnotu aktivace neuronu. Tzn. je-li ${\displaystyle \sum _{i=1}^{N}(w_{i}{}x_{i}{})}$ menší než práh, je neuron pasivní (inhibovaný) a je-li ${\displaystyle \sum _{i=1}^{N}(w_{i}{}x_{i}{})}$ větší než práh, je neuron aktivní (excitovaný).

Aktivační funkce

Aktivační (přenosová) funkce neuronu v umělých neuronových sítích definuje výstup neuronu při zadání sady vstupů neuronu. Příkladem často užívané aktivační funkce je sigmoida (Logistická funkce) o parametrech strmosti (určující šířku pásma citlivosti neuronu na svůj aktivační potenciál) a prahové hodnoty (určující posunutí počátku funkce) spolu s jejími limitními tvary jako je linearita pro strmost blížící se nekonečnu resp. ostrá nelinearita (skoková funkce) pro strmost blížící se nule:^[27]

${\displaystyle f(x)={1 \over (1+e^{-p(x-\vartheta )})}}$, tj. ${\displaystyle \lim _{p\rightarrow \infty }f(x)=0}$ pro ${\displaystyle x<0}$ a ${\displaystyle \lim _{p\rightarrow \infty }f(x)=1}$ pro ${\displaystyle x>0}$ resp. ${\displaystyle \lim _{p\rightarrow 0}f(x)={1 \over 2}}$

Volbou aktivační funkce neuronů vstupní resp. výstupní vrstvy neuronové sítě můžeme určit způsob transformace dat na síť přiváděných:

• Sigmoida: ${\displaystyle f(x)=(1+e^{-p(x-\vartheta )})^{-1}}$ - z ad 1) a ad 2) (viz níže) plyne ${\displaystyle p={\ln 0,95-\ln 0,05 \over 3\sigma }\cong {1 \over \sigma }}$

ad 1) z ${\displaystyle 0,95=(1+e^{-3p\sigma })^{-1}}$ plyne ${\displaystyle e^{-3p\sigma }={0,05 \over 0,95}}$

ad 2) z ${\displaystyle 0,05=(1+e^{3p\sigma })^{-1}}$ plyne ${\displaystyle e^{3p\sigma }={0,95 \over 0,05}}$

• Gaussova křivka: ${\displaystyle g(x)=e^{-p(x-\vartheta )^{2}}}$ - z ${\displaystyle 0,05=e^{-p6\sigma ^{2}}}$ plyne ${\displaystyle p=-<!--\; -\; -->\frac{\ln <!--\; \; -->0,05}{6{\mathrm{\sigma <!--\; \sigma \; -->}}^2}\cong <!--\; \cong \; -->\frac{1}{2{\mathrm{\sigma <!--\; \sigma \; -->}}^{}}}$Zdroj:https://cs.wikipedia.org?pojem=Deep_learning
  Text je dostupný za podmienok Creative Commons Attribution/Share-Alike License 3.0 Unported; prípadne za ďalších podmienok. Podrobnejšie informácie nájdete na stránke Podmienky použitia.

  ---