Mempelajari Secara Singkat Hadoop : Mengenal YARN
Yet Another Resource Manager (YARN) membawa pemrograman ke tingkat berikutnya di luar Java, dan membuatnya interaktif sehingga aplikasi lain seperti HBase, Spark, dan lainnya dapat bekerja di atasnya. Aplikasi-aplikasi YARN yang berbeda dapat eksis di kluster yang sama, sehingga MapReduce, HBase, Spark dapat berjalan bersamaan, memberikan manfaat besar dalam hal pengelolaan dan pemanfaatan kluster.
Komponen YARN
- Klien: Untuk mengirimkan pekerjaan MapReduce.
- Resource Manager: Untuk mengelola penggunaan sumber daya di seluruh kluster.
- Node Manager: Untuk meluncurkan dan memonitor kontainer komputer pada mesin-mesin di kluster.
- MapReduce Application Master: Memeriksa tugas-tugas yang menjalankan pekerjaan MapReduce. Application master dan tugas MapReduce berjalan dalam kontainer yang dijadwalkan oleh resource manager dan dikelola oleh node managers.
- Jobtracker dan Tasktracker digunakan pada versi Hadoop sebelumnya, yang bertanggung jawab menangani sumber daya dan memeriksa kemajuan pekerjaan. Namun, Hadoop 2.0 memiliki Resource Manager dan Node Manager untuk mengatasi kekurangan Jobtracker dan Tasktracker.
Manfaat YARN
- Skalabilitas: MapReduce 1 mengalami kendala skalabilitas pada 4000 node dan 40000 tugas, tetapi YARN dirancang untuk 10.000 node dan 100.000 tugas.
- Pemanfaatan: Node Manager mengelola kumpulan sumber daya, bukan sejumlah slot yang ditentukan, sehingga meningkatkan pemanfaatan.
- Multitenancy: Versi berbeda dari MapReduce dapat berjalan di YARN, yang membuat proses peningkatan MapReduce lebih mudah dikelola.
