Deep learning, sebuah sub bidang machine learning, berkembang pesat dalam cara kerja rumit artificial neural network yang terdiri dari beberapa lapisan neuron buatan yang saling berhubungan. Untuk memungkinkan neuron belajar dan membuat prediksi secara akurat, fungsi aktivasi memainkan peran penting. Fungsi aktivasi memperkenalkan non-linearitas ke dalam jaringan saraf, memungkinkannya memodelkan hubungan kompleks antara masukan dan keluaran, dan meningkatkan kekuatan pengambilan keputusan jaringan.
Apa itu Fungsi Aktivasi?
Fungsi aktivasi adalah fungsi matematika yang mengambil jumlah masukan tertimbang dari lapisan neuron sebelumnya dan menerapkan transformasi untuk menghasilkan nilai keluaran atau aktivasi. Tujuan dari transformasi ini ada dua: (1) untuk memperkenalkan non-linearitas dan (2) memungkinkan sinyal menyebar melalui jaringan.
Fungsi aktivasi menormalkan nilai keluaran, menjadikannya berada dalam kisaran tertentu. Kisaran ini sering kali terletak antara 0 dan 1 atau -1 dan 1, bergantung pada jenis fungsi aktivasi yang digunakan. Setiap neuron di jaringan saraf dalam biasanya menggunakan fungsi aktivasi untuk memutuskan kapan dan sejauh mana fungsi tersebut harus diaktifkan.
Fungsi Aktivasi Umum
1. Fungsi sigmoid (Fungsi logistik)
Fungsi sigmoid adalah salah satu fungsi aktivasi paling awal yang digunakan dalam pembelajaran mendalam. Ini memetakan jumlah input tertimbang ke nilai antara 0 dan 1, yang mewakili kemungkinan aktivasi neuron. Namun, fungsi sigmoid mengalami masalah vanishing gradient, di mana gradien menjadi sangat kecil di lapisan yang lebih dalam, sehingga menyebabkan konvergensi lambat selama pelatihan.
2. Rectified Linear Unit (ReLU)
ReLU adalah salah satu fungsi aktivasi yang paling banyak digunakan dalam pembelajaran mendalam saat ini. Ini didefinisikan sebagai f(x) = max(0, x), dengan output adalah 0 untuk nilai negatif dan input tetap tidak berubah untuk nilai positif. ReLU secara efektif memecahkan masalah vanishing gradient dan mempercepat pelatihan. Namun dapat menyebabkan dead neuron jika gradien menjadi nol untuk semua input ke dalam neuron selama pelatihan.
3. Leaky ReLU
Untuk mengurangi masalah neuron mati, Leaky ReLU diperkenalkan. Ini didefinisikan sebagai f(x) = max(αx, x), dengan α adalah konstanta kecil (<1) yang menentukan kemiringan input negatif. Dengan mengizinkan gradien kecil untuk masukan negatif, Leaky ReLU mencegah kematian neuron dan memberikan pembelajaran yang lebih baik untuk deep neural network.
4. Hyperbolic Tangent (tanh)
Fungsi tangen hiperbolik mirip dengan fungsi sigmoid tetapi memetakan masukan ke nilai antara -1 dan 1. Fungsi ini memberikan non-linier yang lebih kuat dan lebih simetris di sekitar titik asal dibandingkan dengan fungsi sigmoid. Mirip dengan fungsi sigmoid, fungsi aktivasi tanh juga dapat mengalami masalah vanishing gradient.
5. Softmax
Softmax sering digunakan sebagai fungsi aktivasi di lapisan keluaran jaringan saraf ketika menangani masalah klasifikasi kelas jamak. Ini mengubah jumlah masukan tertimbang menjadi distribusi probabilitas, di mana setiap keluaran mewakili kemungkinan kelas tertentu. Softmax memastikan bahwa jumlah semua probabilitas sama dengan 1. Hal ini sangat berguna ketika berhadapan dengan kelas yang saling eksklusif.