A. Basic Principles of ANN
Design
Prinsip
Dasar dari Articial Neural Networks (ANNs) pertama kali dirumuskan oleh
McCulloch dan Pitts pada 1943, dalam hal ini di asumsikan, sebagai berikut :
(1) Aktivitas dari sebuah neuron
(ANN) adalah semua atau tidak sama sekali.
(2) Dari beberapa sinapsis yang
berjumlah tetap lebih dari 1 harus lebih merangsang dengan diberikan interval dari
saraf lain untuk neuron yang lebih dirangsang.
(3) Satu-satunya penundaan yang
signifikan dalam sistem saraf adalah synaptic delay.
(4) Aktivitas beberapa penghambatan
sinapsis sangat mencegah eksitasi dari neuron pada saat itu.
(5) Struktur dari inter koneksi
jaringan tidak merubah over time.
Dengan asumsi (1) diatas, neuron adalah sebuah elment biner. Sedangkan
ini mungkin adalah kemungkinan historis dari prinsip awal sistematik, mereka
tidak semuanya berlaku hari ini pada ANN design. Hukum Hebbian (Hebbian Rule)
karena Donald Hebb (1949) juga menerapkan prinsip ini secara luas.
Hukum Hebbian menyatakan bahwa :
“Ketika sebuah axon dari sel A sudah
cukup dekat untuk merangsang sel B dan ketika itu berulang kali dan
terus-menerus mengambil bagian dalam cincin itu, maka beberapa proses
pertumbuhan atau perubahan metabolik terjadi pada satu atau kedua sel ini
sehingga efisiensi sel A [Hebb 1949] meningkat” (yaitu | berat kontribusi
output dari sel A ke cincin di atas sel B meningkat).
Hebbian rule dapat dijelaskan dengan contoh sebagai berikut :
misalkan sel S menyebabkan air liur yang di rangsang oleh sel F, dalam hal ini
dirangsan ketika melihat makanan. Juga, misalakan sel L, yang dirangsan oleh
mendengar bunyi lonceng yang berdering. Terhubung ke sel S tapi tidak dapat
berdiri sendiri.
B. Basic Network Structures
(1) Historis, awal dari ANNs
adalah Perceptron, yang diusulkan oleh psikologare Frank Rosenblatt
(Psychological Review, 1958).
(2) The Artron (Statistical Switch-based
ANN) karena R. Lee (1950s).
(3) The Adaline (Adaptive Linear
Neuron, due to B. Widrow, 1960). Arti dari neuron ini juga dikenal sebagai ALC
(adaptive linear combiner), ALC menjadi prinsip komponen ini. Adalah neuron
tunggal, bukan merupakan sebuah jaringan.
(4) The Madaline (Many Adaline), juga
karena Widrow (1988). adalah sebuah ANN
(jaringan) dirumuskan berdasarkan
adaline diatas.
Prinsip
dari 4 neuron diatas, terutama Perceptron, yang umum membangun blok-blok yang
nantinya akan berkembang menjadi ANN.
Tiga jaringan mendasar lainya adalah
:
(5) Jaringan The Back-Propagation |
adalah sebuah Perseptron multi layer ANN, memberikan solusi yang elegan untuk
menyembunyikan layer [Rumelhart et al., 1986 and others].
(6) Jaringan Hopeld , John Hopeld
(1982).
jaringan ini berbeda dari 4 ANN
sebelumnya yang memiliki aspek-aspek penting, terutama dalam fitur perulangan
dari umpan balik antar neuron-neuron. karenanya,
meskipun beberapa dari prinspnya
belum tergabung dalam kelas ANN itu sendiri.
(7) Jaringan Counter-Propagation
[Hecht-Nielsen, 1987] | dimana Kohonen’s
Self-Organizing Mapping (SOM)
digunakan untuk memfasilitasi pengawasan.
C. The Perceptron's
Input-Output Principles
Perseptron, adalah kemungkinan historis dari awalnya neuron yang
diusulkan [Rosenblatt, 1958], juga dasar pembangunan blok-blok terdekat ANN.
Artron dapat membagi klaim dari neuron tertua. Bagaimanapun,itu
tidak memiliki sifat umum dari Perceptron dan Adaline erat kaitanya, dan itu
tidak berpengaruh dalam historis ANN kecuali diperkenalkan dalam statistik.
Gambar 3.1 Struktur biologis input
output neuron. Komentar: Bobot input ditentukan melalui perubahan biokimia
dendritik dan sinapsis modifikasi.
Gambar 3.2 Struktur skematik input
output perseptron.
D. The Adeline (ALC)
The
Adaline (Adaptive Linear Neuron) dari B. Widow (1960) memiliki struktur
dasardari Perceptron bipolar seperti di Sec. 3.1 di atas dan melibatkan
beberapa jenis leasterror- persegi (LS) latihan beban. Ini mematuhi hubungan
input / simpul mana:
dimana wo adalah bias pada prosedur percobaan. elmen non
linear, di sini elemen threshold sederhana, untuk menghasilkan Adaline
keluaran y sebagai :
y = sign(z)
Gambar 3.3 Activation function
nonlinearity (Signum function).
E. LMS Training of ALC
Pelatihan JST
adalah prosedur pengaturan bobot nya. Pelatihan dari Adaline melibatkan
pelatihan bobot dari ALC (Adaptive Linear Combiner) yang merupakan unsur
penjumlahan linear di umum untuk semua Adaline / Perceptron neuron. Pelatihan
ini sesuai dengan prosedur berikut :
berikan L dengan x1..xl ;
d1..dl ;
dimana
i yang menunjukkan ith set, n adalah
jumlah input, dan di melambangkan output yang diinginkan dari neuron, sehingga:
E menunjukkan harapan dan ek menjadi
kesalahan percobaan di kth set, yaitu
zk yang menunjukkan output aktual
neuron.
dari persamaan diatas kita
mendapatkan
dengan
untuk menghasilkanya yaitu
Oleh
karena itu, (optimal) LMS (least mean square) daru pengaturan w, yaitu
pengaturan untuk menghasilkan J minimum menjadi:
dengan persamaan (3.13) maka
Prosedur LMS mengharapkan dimana percobaan data berbatas sampai
menuju angka yang kecil dari dari pengaturan L, sehingga estimasi
rata-rata sampel menjadi tidak akurat dari harapan sebenarnya pada prosedur
LMS, Konvergensi estimasi membutuhkan L menuju tak hingga. Sebuah
alternatif untuk menggunakan rata-rata-contoh kecil dari L set, disediakan
dengan menggunakan Steepest Descent (gradien kuadrat)
F. Steepest Descent Training of ALC
Prosedur steepest descent untuk melatih sebuah neuron ALC tidak
diatasi kekurangan dari rata-rata sampel kecil, seperti yang dibahas dalam
kaitannya dengan LMS prosedur Sec. 3.4.1 di atas. Namun hal itu berusaha untuk
memberikan bobot-pengaturan.
Perkiraan dari satu pelatihan diatur
ke, perkiraan mulai berikutnya dari set satu pelatihan ke depan, dimulai dengan
L = n + 1, di mana n adalah jumlah input, mencatat bahwa untuk dari n bobot,
sangat penting bahwa :
Prosedur steepest descent, yang merupakan prosedur pencarian
gradien, adalah sebagai berikut :
Menandakan suatu pengaturan bobot
vektor setelah iterasi w’th (pelatihan m’th set) sebagai w (m), maka
dimana w adalah perubahan (variasi)
di w (m), variasi ini yang diberikan oleh :
adalah parameter tingkat yang
pengaturan dibahas di bawah, dan
Prosedur steepest descent untuk
memperbarui w (m) dari Persamaan. (3.17) berikut langkah-langkahnya:
(1) Terapkan masukan vektor xm dan
output dm yang diinginkan untuk training set mth.
(2) Tentukan E2M mana
(3) Evaluate
sehingga mendapatkan perkiraan untuk?
J dengan menggunakan E2M sebagai perkiraan untuk J, yaitu
(4) Update w (m + 1) melalui pers.
(3.17), (3.18) di atas, yaitu
ini disebut Delta Rule of ANN. Di
sini? dipilih untuk memenuhi
jika statistik x diketahui, di mana
(R) Menjadi nilai eigen dari R dari
persamaan. (3.11) di atas. Yang lain, satu dapat mempertimbangkan Dvoretzky
teorema dari stochastic pendekatan [Graupe, Time Series Anal., Chap. 7] untuk
memilih?, Sehingga
dengan beberapa nyaman? 0, katakan? 0
= 1, untuk menjamin konvergensi w (m) tidak diketahui tapi benar w untuk m! 1,
yaitu, di (praktis tapi teoritis) batas.
G. Demo Program
https://drive.google.com/open?id=0B2nW7b3fUVdkaE9jcldtdGJvcHc
