MENGENAL HADOOP

Apa itu Hadoop ??

Assalammu'alaikum..

 kali ini saya akan berbagi mengenai teknologi big data yang sekarang ini lagi booming, yaitu Hadoop. Sebenarnya hadoop ini merupakan sebuah perangkat lunak untuk mendukung teknologi big data.Teknologi yang dirilis oleh Apache yang merupakan implementasi open source dari Google File System dan Google MapReduce. hadoop mengimplementasikan  konsep Map Reduce yang bersifat open source untuk memproses data yang berskala besar secara terdistribusi. Hadoop ini menggunakan konsep map reduce, apa sih map reduce itu? map reduce itu adalah sebuah teknik untuk menangani data dalam skala besar agar hasil yang didapat data bersifat relevan dan reliable.

MapReduce memiliki dua bagian utama :

1. Map
map akan membaca data dari kumpulan record pada sebuah file yang di inputkan,melakukan proses filtering dan transformasi,kemuduan memberikan output berupa sekumpulan intermediet record berupa pasangan key atau value setalah itu dikirimkan ke fungsi reduce.

2. Reduce
fungsi ini yaitu menerima sekumpulan key atau value dan menggabungkan beberapa value untuk sebuah key menjadi ringkasan value.

bingung ya?? hahaha gpp ini gambarannya block diagrammnya :

masih bingung? silahkan tanya langsung ke ahlinya ya hehehe...

Hadoop open source? iya, hadoop ini bersifat open source,dapat digunakan dan dikembangkan oleh semua orang, anda bisa mendownload nya di situs resminya Hadoop. 




Mengapa harus Hadoop?? pasti itu salah satu pertanyaan yang terlintas difikiran kawan-kawan hehehehe...
  ok saya jelaskan,  

1. Hadoop Open Source.
2.  Bisa berjalan di LINUX atau WINDOWS
3. Flexible,yaitu dapat menempung berbagai jenis data dan tidak ada batas penyimpanan
4. Prosesnya cepat.


 Framework Hadoop memiliki dua struktur utama, yaitu MapReduce dan HDFS(Hadoop Distributed File System) .

Komponen pendukung lainnya yang terdapat dalam framework Hadoop adalah:

• Hive
• Pig
• HBase
• Scribe / Flume
• ZooKeeper
• dll (komponen-komponen tambahan dari masing-masing spesialis industrinya)

 kalau tadi saya menjelaskan tentang komponen MapRaduce, sekarang komponen HDFS,

HDFS adalah sistem file dalam Hadoop framework yang bersifat distributed, scalable, dan portable. Hadoop menyimpan data bedasarkan node, dan setiap kumpulan node adalah cluster dalam HDFS. Manfaat dari penyimpanan berformat HDFS adalah dapat menyimpan file bervolume besar (berskala gigabyte sampai dengan terabyte) dalam server yang berbeda, dan terjamin kehandalannya dengan replikasi data dalam host yang beragam.


ok cukup sekian kawan. baru itu yang saya pelajari,saya akan belajar lagi dan mendalami, nanti akan saya share lagi kalau saya mendapat ilmu yang baru, sekian terma kasih.

Sumber :
https://dokterpc14.wordpress.com/2013/01/26/menjalankan-aplikasi-hadoop-mapreduce-dengan-microsoft-windows/

https://miftahfauzy.wordpress.com/2014/09/17/big-data/

 

Continue Reading

Apa Itu Teknologi 'Big Data'???

'Big Data', pastinya banyak di antara kita yang masih asing dengan istilah tersebut. Namun belakangan ini istilah 'Big Data' menjadi topik pembahasan dominan di bidang industri teknologi dan informasi (TI) dunia.

Awalnya Big Data adalah sebuah sistem teknologi yang diperkenalkan untuk menanggulangi 'ledakan informasi' seiring dengan semakin bertumbuhnya ekosistem pengguna perangkat mobile dan data internet. Pertumbuhan perangkat mobile dan data internet ternyata sangat mempengaruhi perkembangan volume dan jenis data yang terus meningkat secara signifikan di dunia maya.

Berbagai jenis data, mulai data yang berupa teks, gambar atau foto, video hingga bentuk data-data lainnya membanjiri sistem komputasi. Tentunya hal ini perlu jalan keluar. Dan Big Data adalah solusi yang kerap digaungkan beberapa waktu belakangan ini.

Sejatinya hingga saat ini belum ada definisi resmi dari istilah Big Data. Akan tetapi kemunculnya memang dianggap solusi dari fakta yang menunjukkan bahwa pertumbuhan data dari waktu ke waktu telah melampaui batas kemampuan media penyimpanan maupun sistem database yang ada saat ini.

Sementara itu IBM di situs resminya mendefinisikan Big Data ke dalam tiga istilah yaitu volume , variety , dan velocity. Volume di sini berkaitan dengan ukuran media penyimpanan data yang sangat besar atau mungkin tak terbatas. Sementara variety berarti tipe atau jenis data yang dapat diakomodasi. Sedangkan velocity dapat diartikan sebagai kecepatan proses.

Dengan begitu, Big Data dapat diasumsikan sebagai sebuah media penyimpanan data yang menawarkan ruang tak terbatas, serta kemampuan untuk mengakodasi dan memproses berbagai jenis data dengan sangat cepat.

Di sektor bisnis Big Data, Google bisa dikatakan sebagai pelopor. Perusahaan yang berbasis di Mountain View, California itu di tahun 2006 sempat memperkenalkan Google Bigtable. Bigtable merupakan sistem database berskala besar dan cepat yang digunakan Google untuk mengolah berbagai jenis data dari berbagai layanan, termasuk data dari layanan mesin pencari berbasis internet milik mereka.

Setelah Google, jejaring sosial milik Mar Zuckerberg, Facebook, pun menerapkan sistem database sejenis untuk menangani melonjaknya pengguna layanan mereka. Dengan teknologi Big Data, Facebook tak pernah kesulitan untuk menangani peredaran data yang melonjak drastis dalam enam tahun terakhir yang berasal dari 1 miliar pengguna jejaring sosial mereka. (dhi)

Continue Reading