Google Mutakhirkan Kerajaan Online dengan Colossus, Kabar Baik Dunia Web
Lebih dari satu dekade lalu, Google membangun fondasi baru untuk mesin pencariannya yang dinamai Google File System. Julukan pendeknya sebut saja GFS. Sistem ini beroperasi melingkupi seluruh armada server komputer, mengubah seluruh pusat data Google yang tersebar menjadi berperilaku seolah-olah satu mesin tunggal.
Gambarannya, Google merayap ke seluruh laman-laman web dunia, mengumpulkan data untuk digunakan dalam mesin pencariannya. Google lalu menyebarkan koleksi data tadi ke seluruh jaringan server miliknya sebelum cip dalam mesin-mesin server beroperasi, tujuannya memadatkan data menjadi indeks tunggal yang bisa dicari.
GFS begitu sukses, sistem itu kemudian digunakan oleh seluruh web di dunia. Setelah Google merilis makalah menjelaskan GFS dan platform piranti lunak yang masih bersaudara, Map Reduce--bagian yang memadatkan data--Yahoo dan Facebook serta web-web lain membangun versi mereka sendiri berpondasikan temuan Google. Sistem yang mirip itu dinamai Hadoop, bersifat open source dan mendorong revolusi di dunia bisnis software.
Namun, kini Google tak lagi menggunakan GFS. Dua tahun lalu, perusahaan memindahkan sistem pencarian ke pondasi software baru berdasar sistem file yang telah dipermak, dikenal Colossus. Nama yang memiliki arti patung raksasa itu dulu menjadi sebutan komputer digital dan elektronik pertama dunia yang berukuran superbesar.
Sosok yang bertugas memantau jaringan pusat data dunia milik Google, Urs Hölzle, menyatakan Colossus yang sesungguhnya mendasari layanan web Google, mulai dari Gmail, Google Docs dan YouTube hingga layanan Penyimpanan Awan Google yang ditawarkan perusahaan ke pengembang pihak ketiga.
GFS dibangun untuk bekerja berdasar operasi sekali jalan. Seperti telah dipaparkan sebelumya, operasi ini berjalan di latarbelakang lalu data disebar ke setiap server sebelum mereka benar-benar diaplikasikan di tampilan depan website. Sementara Colossus, khusus dibangun untuk layanan 'realtime' di mana proses berjalan hampir instan.
Dulu, misal, Google akan menggunakan GFS dan MapReduce butuh mengenali indeks pencarian baru selama beberapa hari, ketika sistem mulai matang, pengenalan itu menjadi hanya beberapa jam. Namun dengan Colossus dan infrastruktur pencarian baru--dikenal sebagai Caffein--Google tak perlu lagi mengenali dan membangun indeks dari awal. Sistem baru mampu secara konstan memutakhirkan indeks yang telah ada dengan informasi baru secara 'realtime'
Langkah Google untuk hijrah ke Colossus diramalkan bakal diikuti seluruh web. Pasalanya, layanan itu digunakan banyak orang dan mengelola data begitu masif. Dalam kalimat lain Google--sebagai raksasa--selalu lebih dulu 'dipaksa' menemukan solusi masalah besar barulah yang lain akan mengikuti
Kabar baik dari perpindahan ini, Colossus menghilangkan 'kegagalan satu titik' yang menjadi penyakit GFS. Amunisi utama GFS selama disebut master node--atau server master-- memantau data yang disebarkan ke seluruh armada servernya atau 'chunckserver'. Server-server bagian ini menyimpan potongan data, setiap potongan berukuran 64 megabit. Masalahnya bila master node mati, seluruh sistem ikut mati--paling tidak secara temporer. Colossus menyelesaikan masalah ini dengan menambahkan beberapa master node.
Sistem file baru juga mengurangi ukuran potongan data menjadi 1 MB. Bersama pengecilan ukuran potongan file plus tambahan server master, Google dapat menyimpan lebih dan lebih banyak data di sejumlah besar mesinnya.
Kini dengan mesin pencariannya, Google tak hanya menyingkirkan GFS tetapi juga MapReduce. Alih-alih menggunakan MapReduce yang tugasnya membangun indeks baru dari awal, Google menggunakan platform baru bernama 'Caffeine' yang beroperasi seperti pusat data, di mana anda bisa menulis dan membaca data kapan pun anda mau. Ini berarti kabar baik pula bagi portal-portal berita baru yang banyak bermunculan. Mereka tak perlu menunggu Goggle mengumpulkan data dari web demi untu dmi ikenali beberapa saat sebelum masuk ke dalam indeks pencarian Google.
Meski Google tidak membuka sumber-sumber pengkodean di balik Colossus, para pengembang di luar masih bisa memanfaatkan sistem file tersebut. Hölzle menekankan Colossus mendasari Google Cloud Storage, layanan penyimpanan online yang ditawarkan Google di penjuru dunia, seperti halnya Amazon menawarkan layanan penyimpanan S3-nya.
Gambarannya, Google merayap ke seluruh laman-laman web dunia, mengumpulkan data untuk digunakan dalam mesin pencariannya. Google lalu menyebarkan koleksi data tadi ke seluruh jaringan server miliknya sebelum cip dalam mesin-mesin server beroperasi, tujuannya memadatkan data menjadi indeks tunggal yang bisa dicari.
GFS begitu sukses, sistem itu kemudian digunakan oleh seluruh web di dunia. Setelah Google merilis makalah menjelaskan GFS dan platform piranti lunak yang masih bersaudara, Map Reduce--bagian yang memadatkan data--Yahoo dan Facebook serta web-web lain membangun versi mereka sendiri berpondasikan temuan Google. Sistem yang mirip itu dinamai Hadoop, bersifat open source dan mendorong revolusi di dunia bisnis software.
Namun, kini Google tak lagi menggunakan GFS. Dua tahun lalu, perusahaan memindahkan sistem pencarian ke pondasi software baru berdasar sistem file yang telah dipermak, dikenal Colossus. Nama yang memiliki arti patung raksasa itu dulu menjadi sebutan komputer digital dan elektronik pertama dunia yang berukuran superbesar.
Sosok yang bertugas memantau jaringan pusat data dunia milik Google, Urs Hölzle, menyatakan Colossus yang sesungguhnya mendasari layanan web Google, mulai dari Gmail, Google Docs dan YouTube hingga layanan Penyimpanan Awan Google yang ditawarkan perusahaan ke pengembang pihak ketiga.
GFS dibangun untuk bekerja berdasar operasi sekali jalan. Seperti telah dipaparkan sebelumya, operasi ini berjalan di latarbelakang lalu data disebar ke setiap server sebelum mereka benar-benar diaplikasikan di tampilan depan website. Sementara Colossus, khusus dibangun untuk layanan 'realtime' di mana proses berjalan hampir instan.
Dulu, misal, Google akan menggunakan GFS dan MapReduce butuh mengenali indeks pencarian baru selama beberapa hari, ketika sistem mulai matang, pengenalan itu menjadi hanya beberapa jam. Namun dengan Colossus dan infrastruktur pencarian baru--dikenal sebagai Caffein--Google tak perlu lagi mengenali dan membangun indeks dari awal. Sistem baru mampu secara konstan memutakhirkan indeks yang telah ada dengan informasi baru secara 'realtime'
Langkah Google untuk hijrah ke Colossus diramalkan bakal diikuti seluruh web. Pasalanya, layanan itu digunakan banyak orang dan mengelola data begitu masif. Dalam kalimat lain Google--sebagai raksasa--selalu lebih dulu 'dipaksa' menemukan solusi masalah besar barulah yang lain akan mengikuti
Kabar baik dari perpindahan ini, Colossus menghilangkan 'kegagalan satu titik' yang menjadi penyakit GFS. Amunisi utama GFS selama disebut master node--atau server master-- memantau data yang disebarkan ke seluruh armada servernya atau 'chunckserver'. Server-server bagian ini menyimpan potongan data, setiap potongan berukuran 64 megabit. Masalahnya bila master node mati, seluruh sistem ikut mati--paling tidak secara temporer. Colossus menyelesaikan masalah ini dengan menambahkan beberapa master node.
Sistem file baru juga mengurangi ukuran potongan data menjadi 1 MB. Bersama pengecilan ukuran potongan file plus tambahan server master, Google dapat menyimpan lebih dan lebih banyak data di sejumlah besar mesinnya.
Kini dengan mesin pencariannya, Google tak hanya menyingkirkan GFS tetapi juga MapReduce. Alih-alih menggunakan MapReduce yang tugasnya membangun indeks baru dari awal, Google menggunakan platform baru bernama 'Caffeine' yang beroperasi seperti pusat data, di mana anda bisa menulis dan membaca data kapan pun anda mau. Ini berarti kabar baik pula bagi portal-portal berita baru yang banyak bermunculan. Mereka tak perlu menunggu Goggle mengumpulkan data dari web demi untu dmi ikenali beberapa saat sebelum masuk ke dalam indeks pencarian Google.
Meski Google tidak membuka sumber-sumber pengkodean di balik Colossus, para pengembang di luar masih bisa memanfaatkan sistem file tersebut. Hölzle menekankan Colossus mendasari Google Cloud Storage, layanan penyimpanan online yang ditawarkan Google di penjuru dunia, seperti halnya Amazon menawarkan layanan penyimpanan S3-nya.
Komentar
Posting Komentar