Memahami Training dan Validation Loss

Deep Learning telah merevolusi bidang kecerdasan buatan, memungkinkan mesin belajar dari data dan membuat prediksi dengan akurasi luar biasa. Namun, melatih model deep learning bisa menjadi tugas yang menantang, karena kita perlu mengoptimalkan model yang kompleks dengan jutaan parameter. Salah satu komponen penting dari proses pengoptimalan ini adalah memahami training dan validation loss.

Training Loss

Saat melatih model deep learning, kita ingin meminimalkan perbedaan antara keluaran yang diprediksi dan keluaran sebenarnya. Training loss, juga disebut objective function atau cost function, mengukur perbedaan antara keluaran yang diprediksi dan keluaran aktual untuk satu contoh pelatihan. Tujuan dari proses pelatihan adalah untuk meminimalkan training loss di semua contoh pelatihan, yang dicapai melalui algoritma pengoptimalan seperti stochastic gradient descent (SGD).

Training loss adalah metrik fundamental dalam deep learning, karena memandu proses pembelajaran. Saat model dilatih, training loss akan berkurang secara bertahap. Jika training loss tidak berkurang, berarti model tidak belajar secara efektif, dan kita perlu menyesuaikan hyperparameter atau arsitektur model.

Validation Loss

Meskipun kita ingin meminimalkan training loss, tujuan utama kita adalah membangun model yang dapat meng-generalisasi data yang tidak terlihat dengan baik. Oleh karena itu, kita perlu mengukur performa model kita pada dataset terpisah yang belum pernah dilihat model tersebut selama pelatihan. Dataset ini disebut set validasi, dan loss yang terkait disebut validation loss.

Validation loss adalah metrik yang powerful untuk mengevaluasi performa generalisasi suatu model. Jika training loss berkurang, tetapi validation loss meningkat, hal ini menunjukkan bahwa model mengalami overfitting, artinya model mengingat data pelatihan tetapi gagal meng-generalisasi data baru. Di sisi lain, jika validation loss berkurang, model dapat diharapkan berfungsi dengan baik pada data yang belum pernah dilihat sebelumnya.

Contoh kurva underfitting

Contoh kurva overfitting

Memantau Training dan Validation Loss

Untuk memantau kemajuan dari training dan validation loss, kita biasanya memplotnya sebagai fungsi dari training epoch. Satu epoch mewakili satu iterasi pelatihan lengkap di seluruh training dataset. Dengan menganalisis kurva loss, kita dapat mendiagnosis masalah umum dalam deep learning, seperti overfitting, underfitting, atau ketidakstabilan model.

Salah satu tren populer dalam deep learning adalah menerapkan early stopping, yang berarti menghentikan proses pelatihan ketika validation loss tidak membaik. Teknik ini adalah cara sederhana untuk menghindari overfitting dan memastikan bahwa model dapat digeneralisasi dengan baik pada data baru.

6th International Conference of Computer and Informatics Engineering

Perhelatan International Conference of Computer and Informatics Engineering ke 6 akan dilangsungkan di Aruna, Senggigi Lombok, 14-15 September 2023. Terkait dengan kegiatan ini, kami mengirimkan satu berkas artikel riset bertajuk Machine Learning Algorithm and Modeling in Solar Irradiance Forecasting, dan statusnya accepted, 23 Agustus 2023. Penelitian dilakukan di Padepokan NEXT SYSTEM Bandung.

Terima kasih, hatur nuhun, matur nuwun kepada dosen-dosen dari Politeknik Negeri Jakarta yang telah memberikan dukungan dan berkolaborasi : Mr. Nana Sutarna, Ph.D., Ms. Dr. Prihatin Oktivasari, Ms. Murie Dwiyaniti, M.T., dan Mr. Tohazen, M.T.

IEEE Computational Intelligence Society dan IEEE Indonesia Section menjadi technical co-sponsor.

Konverter RS485 ke TTL

Produk yang satu ini murah meriah namun bisa menjawab kebutuhan untuk konversi dari RS485 ke TTL. Penulis menggunakannya untuk komunikasi ESP32 dengan sejumlah perangkat modbus slave, diantaranya: PZEM-017, PT100 dan Anemometer.

 

STM32: Cangkok Memori Flash

Ketersediaan ruang memori, khususnya Flash dan RAM, sering menjadi kendala ketika mengembangkan aplikasi berbasis MicroPython di platform mikrokontroler STM32, khususnya versi ekonomis seperti STM32F411CEU6 (Flash: 512k, RAM: 128k) atau STM32F401CCU6 (Flash: 256k, RAM: 64k)
.
Mikrokontroler yang satu ini memiliki CPU yang mumpuni, Cortex-M4, dengan dapur pacu 100 MHz dan 84 MHz. Namun ketika ditanam firmware MicroPython, ruang memori flash seperti tampak pada gambar terlampir (gambar dikutip dari Instagram pribadi usai riset 😃)


.
Ketika mencoba satu aplikasi yang cukup besar, ruang memori tidak cukup. Pilihannya, ganti dengan varian STM32 yang memiliki ruang memori flash yang lebih besar atau melakukan cangkok. Upgrade ke seri STM32 yang memiliki ruang hingga 2MB, misal STM32F429, yang harganya lumayan, karena disertai dengan daya gedor CPU yang lebih gegas (dapur pacu hingga 180 MHz); sementara yang menjadi kendala adalah ruang flash, bukan performa CPU.
.
Ketika itu, karena memerlukan ruang flash ekstra dan kinerja CPU bisa diterima, maka dipilih cara cangkok. Hasilnya bisa dilihat di gambar terlampir, ruang flash hasil cangkok menjadi sangat lapang dan leluasa ~ 4MB 😃

Project-Based Learning, 10.07.2023

Ada keseruan dalam membangun jaringan sensor terkait dengan kebutuhan monitoring di lingkungan sistem berbasis energi terbarukan. Terdiri dari sensor PT100 untuk mengukur temperatur permukaan panel surya, DHT22 untuk mengukur suhu dan kelembaban ambien. PZEM-017 untuk mengukur daya dan energi (DC). PZEM-016 untuk mengukur daya dan energi (AC). Sensor kecepatan angin dan pyranometer untuk mengukur iradiansi matahari.

Untuk kontroler, digunakan satu unit mikrokontroler ESP32, yang juga berfungsi sebagai data logger dan menyimpan data pengukuran di sebuah cloud server.

Project-based learning kali ini diikuti oleh peserta dari Badan Riset dan Inovasi Nasional (BRIN), berlangsung di Padepokan NEXT SYSTEM Bandung.

 

Praktisi Mengajar Semester Genap 2022/2023

Di semester genap tahun ajaran 2022/2023, kembali mendapat kepercayaan dari teman-teman di Politeknik Negeri Sriwijaya, untuk mengisi 3 (tiga) slot Praktisi Mengajar, total 36 jam. Adapun mata kuliah yang dipercayakan adalah Operating System, Cloud Computing dan Computer Programming.

Terima kasih kepada dosen pengampu, Bapak Sopian Soim, S.T., M.T., dan seluruh teman-teman mahasiswa/i yang sudah setia bergabung di perkuliahan online selama 3 x 12 jam.

Kuliah Pembekalan Robotika Institut Pertanian Bogor, 13.05.2023

Hari Sabtu, 13 Mei 2023, mendapat kesempatan dan kepercayaan menjadi nara sumber di sesi Kuliah Pembekalan Robotika yang diadakan Prodi Teknologi Rekayasa Komputer, Sekolah Vokasi Institut Pertanian Bogor.

Sesi kuliah yang berlangsung selama 120 menit, diikuti oleh hampir 100 mahasiswa/i.

Terima kasih kepada Bapak Bayu Widodo, M.T. dan seluruh rekan mahasiwa/i Prodi Teknologi Rekayasa Komputer yang telah mengikuti perkuliahan ini.

Fast Track Pemrograman dan Aplikasi FPGA, 03.05.2023 – 05.05.2023

Pertapaan terkait dengan Field Programmable Gate Array (FPGA) berlangsung selama 3 hari, 3 – 5 Mei 2023, di Padepokan NEXT SYSTEM Bandung. Pertapaan ini diadakan secara exclusive untuk PT. Setia Zam Med, Depok, dengan peserta Herru Setiawan dan Denny Saepoel Ramadhan.

Pelaksanaan pelatihan berjalan dengan sangat baik, peserta memperoleh pengetahuan dan keterampilan yang diperlukan dalam memrogram dan mengaplikaskan FPGA secara efektif. Semangat untuk lanjut ke materi FPGA berikutnya 🙂

Computer Vision dan Machine Learning, 02.03.2023 – 04.03.2023

Bersama salah satu peserta pelatihan Computer Vision dan Machine Learning yang digelar di Padepokan NEXT SYSTEM Bandung, 2 – 4 Maret 2022. Bapak Tulus Pramuji, B.Eng, M.T., dari Prodi Teknik Elektronika, Politeknik Negeri Semarang.

Akhirnya, Pak Tulus Pramuji hadir juga di Padepokan NEXT SYSTEM Bandung. Walaupun bukan pertama kali hadir, namun rasa haus dan laparnya terpuaskan ketika bisa ikut pertapaan secara langsung 🙂 Di masa 2020 – 2022, beberapa kali beliau menghubungi kami, menyampaikan kerinduannya untuk hadir, namun bebeerapa kali pula harus dibatalkan karena situasi yang tidak kondusif.

Salam sehat dan semangat selalu, Pak! Sampai jumpa di pertapaan berikutnya 🙂

Robotic for Teacher, 12.12.2022 – 15.12.2022

Dua penggerak teknologi dari Puhua School, Purworkerto, dan Sekolah Ciputra, Surabaya, hadir di Padepokan NEXT SYSTEM Bandung, mengikuti pertapaan Robotic for Teacher, 12 – 15 Desember 2022.

Perjalanan darat selama 8 jam untuk tiba di Bandung, tidak menyurutkan tekad dan semangat mereka untuk mengikuti pertapaan dan menuntaskan misi yang ditargetkan!

Semangat mengalami robotik, Pak Timmy Sugiharto, S.T., dan Pak Bagus Eko Panuntun, S.Kom 🙂