Akamai Perkenalkan Cloud Inference untuk Mengurangi Biaya dan Latensi AI
KOMPAS.com – Perusahaan keamanan siber dan cloud computing, Akamai, memperkenalkan layanan baru bernama Akamai Cloud Inference.
Layanan ini dirancang untuk mendekatkan proses inferensi kecerdasan buatan (AI) langsung ke titik terdekat dengan pengguna, dalam skema komputasi yang dikenal sebagai edge computing.
Inferensi dalam AI adalah proses menjalankan model untuk menghasilkan output dari input baru. Bukan proses belajar lagi, tapi menggunakan apa yang sudah dipelajari.
Solusi dari Akamai ini ditujukan untuk menjawab kebutuhan perusahaan yang ingin menjalankan model AI, seperti large language model (LLM) di luar tahap pelatihan, yang selama ini bergantung pada data center berukuran besar.
"Mendekatkan data AI ke pengguna dan perangkat itu sulit, dan di situlah tantangan yang dihadapi platform cloud lama," kata Adam Karon, Chief Operating Officer Akamai, dalam keterangan resmi yang diterima KompasTekno, Rabu (28/5/2025).
Karon mengatakan bahwa proses inferensi, yakni penerapan model AI dalam pengambilan keputusan secara langsung, semakin menuntut efisiensi dan kecepatan respons yang sulit dicapai oleh arsitektur cloud tradisional.
Meski demikian, menurut Karon, pelatihan LLM akan tetap dilakukan di data center besar, tapi inferensi akan semakin banyak dilakukan di edge.
Ia menilai platform edge menjadi kunci dalam mendukung kebutuhan AI modern dan membedakan mereka dari penyedia cloud lainnya.
Akamai Cloud Inference menyediakan pondasi infrastruktur yang mendukung pengembangan dan penerapan beban kerja AI langsung dari sisi pengguna akhir.
Solusi baru Akamai ini diklaim mampu memberikan throughput 3x lebih baik, mengurangi latensi hingga 2,5x, dan menghemat biaya hingga 86 persen dibandingkan dengan infrastruktur hyperscaler tradisional.
Baca juga: Laporan Akamai: Aplikasi AI Picu Peningkatan Serangan Web di Asia Pasifik dan Jepang
Sistem ini menawarkan berbagai jenis kemampuan komputasi, mulai dari CPU dan GPU hingga VPU (Visual Processing Unit) yang dirancang khusus untuk kebutuhan inferensi AI.
Layanan ini juga terintegrasi dengan ekosistem perangkat lunak dari Nvidia, termasuk Triton Inference Server, TAO Toolkit, TensorRT, dan NVFlare, yang dapat membantu mengoptimalkan performa inferensi berbasis GPU.
Di sisi pengelolaan data, Akamai bekerja sama dengan VAST Data untuk memberikan akses data secara real-time.
Sistem ini juga dilengkapi penyimpanan obyek yang dapat diskalakan secara besar-besaran, serta mendukung integrasi dengan database vektor, seperti Aiven dan Milvus.
Kombinasi ini memungkinkan implementasi Retrieval-Augmented Generation (RAG), yang kini banyak digunakan dalam aplikasi berbasis LLM.
