Mempelajari Secara Singkat Hadoop : Apache Pig Run Modes
Apache Pig dieksekusi dalam dua mode: Mode Lokal dan Mode MapReduce.
Mode Lokal
Mode ini dieksekusi dalam satu JVM dan digunakan untuk eksperimen pengembangan dan pembuatan prototipe. Pada mode ini, file diinstal dan dijalankan menggunakan localhost. Mode lokal bekerja pada sistem file lokal. Data input dan output disimpan dalam sistem file lokal. Perintah untuk mode lokal di shell grunt:
Mode MapReduce
Mode MapReduce juga dikenal sebagai Mode Hadoop. Mode ini adalah mode default. Dalam mode ini, Pig mengubah Pig Latin menjadi pekerjaan MapReduce dan mengeksekusinya di cluster. Mode ini bisa dieksekusi pada instalasi Hadoop yang semi-terdistribusi atau sepenuhnya terdistribusi. Di sini, data input dan output ada di HDFS.
Cara Menjalankan Program Pig Ada beberapa cara untuk menjalankan program Pig pada mode lokal dan MapReduce: –
- Mode Interaktif – Dalam mode ini, Pig dieksekusi di shell Grunt. Untuk memanggil shell Grunt, jalankan perintah pig. Setelah mode Grunt dieksekusi, pernyataan dan perintah Pig Latin bisa diberikan secara interaktif di baris perintah.
- Mode Batch – Dalam mode ini, skrip file dengan ekstensi .pig bisa dijalankan. File-file ini berisi perintah Pig Latin.
- Mode Tertanam – Dalam mode ini, fungsi-fungsi sendiri bisa didefinisikan. Fungsi-fungsi ini bisa disebut sebagai UDF (User Defined Functions). Dalam mode ini, bahasa pemrograman seperti Java dan Python digunakan.
