Perbandingan kinerja pemrosesan data AI multimodal: Mengapa Daft sedang mendefinisikan ulang saluran data

Mesin data tradisional (Spark, Ray) mulai mengalami masalah ketika menangani data multimodal seperti gambar, video, dan audio. Apa masalahnya? Ledakan memori, rendahnya pemanfaatan GPU, dan satu mesin tidak dapat menanganinya.

Mengapa data multimodal begitu sulit untuk dipahami

Sebuah gambar JPEG terkompresi, begitu didekode akan mengembang 20 kali lipat. Sebuah file video bisa menghasilkan ribuan frame, setiap frame berukuran beberapa megabyte. Selain itu, CPU dan GPU harus bekerja sama—beban komputasi campuran ini membuat mesin tradisional benar-benar kebingungan.

Daft vs Ray Data: Seberapa besar perbedaan kinerja?

Pada kluster GPU yang sama (8 g6.xlarge + NVIDIA L4) menjalankan beban kerja nyata, hasilnya sangat jelas:

• Transkripsi Audio (113.000 file): Daft 6 menit 22 detik vs Ray Data 29 menit 20 detik (selisih 4,6 kali)
• Penyematan Dokumen (10.000 PDF): Daft 1 menit 54 detik vs Ray Data 14 menit 32 detik (selisih 7,6 kali)
• Klasifikasi Gambar (800.000 gambar): Daft 4 menit 23 detik vs Ray Data 23 menit 30 detik (selisih 5,4 kali)
• Deteksi Video (1000 video): Daft 11 menit 46 detik vs Spark 3 jam 36 menit (selisih 18.4 kali)

Mengapa perbedaannya begitu besar

1. Optimasi Bawaan vs Menulis Kode Sendiri

Daft dilengkapi dengan operasi native seperti dekoding gambar, penyematan teks, dan panggilan LLM yang telah dioptimalkan secara tinggi. Ray Data mengharuskan Anda untuk menulis fungsi Python menggunakan pustaka seperti Pillow, HuggingFace—setiap pustaka memiliki format data sendiri, dan konversi bolak-balik menjadi lubang hitam kinerja.

2. Pemrosesan Aliran vs Penumpukan Memori

Daft menggunakan mesin eksekusi streaming (Swordfish) untuk membuat data terus mengalir: gambar ke-1000 sedang diinferensi GPU, gambar ke-1001 hingga 2000 masih dalam proses pengunduhan dan dekoding. Seluruh partisi tidak akan pernah dimuat sepenuhnya ke dalam memori.

Ray Data cenderung menggabungkan operasi menjadi satu tugas, yang mudah menyebabkan lonjakan memori. Anda dapat menggunakan kelas untuk menghindarinya, tetapi itu akan materialisasi hasil sementara ke dalam penyimpanan objek, sehingga meningkatkan biaya serialisasi. Selain itu, penyimpanan objek Ray secara default hanya memiliki 30% memori mesin, sehingga risiko kelebihan kapasitas sangat besar.

3. Koordinasi Sumber Daya

Daft membuat CPU, GPU, dan jaringan berjalan penuh secara bersamaan. Ray Data secara default menyisakan satu inti CPU untuk operasi I/O, yang dapat menyebabkan pekerjaan pemrosesan CPU terhambat, sehingga perlu penyesuaian manual untuk mengoptimalkan.

Bagaimana cara mengatakan studi kasus

Tim AI Esensial: Menggunakan Daft untuk memproses 23,6 miliar dokumen halaman web dari Common Crawl (240 triliun token), berkembang hingga 32.000 permintaan/detik/VM, mereka menilai — “Jika menggunakan Spark, hanya untuk menginstal JVM dan menyesuaikan parameter saja sudah sangat merepotkan. Daft jauh lebih cepat saat dijalankan secara lokal, dan sangat lancar saat diskalakan ke banyak mesin.”

CloudKitchens: Memutuskan untuk mengubah seluruh infrastruktur ML menjadi “DREAM Stack” (Daft + Ray + Poetry + Argo + Metaflow), karena mereka menemukan bahwa kinerja dan fungsionalitas Ray Data tidak cukup, Daft mengisi kekurangan ini.

Insinyur ByteDance: Menjalankan tugas klasifikasi pada 1,3 juta gambar ImageNet, Daft lebih cepat 20% dibandingkan Ray Data, dan juga lebih hemat sumber daya.

Kapan menggunakan Daft, kapan menggunakan Ray

Pilih Daft: Pengolahan data multimodal, ETL kompleks, peduli pada keandalan dan kinerja, suka gaya DataFrame/SQL

Pilih Ray Data: Ingin integrasi yang erat dengan Ray Train/Ray Serve, memerlukan konfigurasi CPU/GPU yang halus.

Angka Kunci: Daft 2-7 kali lebih cepat dalam pemrosesan multimodal, 4-18 kali lebih cepat dibandingkan Spark, dan stabil serta dapat diandalkan. Jika beban kerja Anda melibatkan pemrosesan media skala besar, ini bukan pilihan, tetapi keharusan.