DeepSeek OCR memadatkan teks menjadi gambar untuk menekan biaya AI dan memperluas konteks

Cara baru memadatkan dokumen panjang agar muat dalam konteks AI

DeepSeek merilis DeepSeek-OCR, sistem bahasa visual yang memadatkan teks panjang dengan mengubahnya menjadi gambar, lalu memulihkan isinya saat model membutuhkannya. Bergantung pada pengaturan dan jenis dokumen, pendekatan ini mengurangi jumlah token yang harus diproses model bahasa besar hingga tujuh sampai 20 kali, dengan tetap mempertahankan presisi tinggi pada tingkat pemadatan sedang. DeepSeek menyatakan sistem ini mencapai akurasi dekode sekitar 97 persen pada tingkat pemadatan 10 kali, dan masih memberikan hasil yang berguna pada rasio yang lebih tinggi. Proyek ini dilengkapi kode dan bobot model, tersedia bagi pengembang, serta menyasar salah satu kendala paling mahal dalam AI modern: menangani konteks panjang dengan biaya wajar.

Sistem ini bekerja dalam dua tahap. Encoder visual bernama DeepEncoder mengubah halaman teks, tabel, bagan, dan tata letak lainnya menjadi sekumpulan kecil token visual. Model bahasa ringan, DeepSeek3B MoE A570M, kemudian mendekode token tersebut kembali menjadi teks terstruktur. Pengaturan ini mempertahankan tata letak dan pemformatan jika diperlukan, mendukung banyak bahasa, serta dapat menghasilkan teks biasa atau keluaran terstruktur seperti tabel Markdown.

Pentingnya pendekatan ini berkaitan dengan token, unit dasar yang dibaca dan ditulis model bahasa. Semakin banyak token, semakin besar penggunaan memori dan latensinya, sehingga biaya pun meningkat. Model juga memiliki batas keras tentang seberapa banyak konteks yang dapat dilihat sekaligus. Dengan menyimpan konteks sebagai gambar dan mengaksesnya kembali melalui token visual, DeepSeek-OCR menawarkan lapisan memori yang lebih murah untuk sesi panjang dan dokumen besar, yang berpotensi memperluas jendela konteks efektif jauh melampaui kemampuan teks saja.

Skala menjadi salah satu klaim utama. Pelatihan menggunakan sekitar 30 juta halaman PDF dalam hampir 100 bahasa, ditambah data sintetis untuk bagan, rumus, dan gambar. Dari sisi operasional, tim melaporkan satu GPU Nvidia A100 dapat memproses lebih dari 200.000 halaman per hari. Sebanyak 20 server serupa dapat meningkatkan jumlah itu menjadi sekitar 33 juta halaman per hari. Angka-angka ini mengindikasikan potensi jalur pemrosesan cepat untuk digitalisasi dokumen dan pembuatan data pelatihan berskala besar.

Bagaimana mengubah teks menjadi gambar mengurangi token

Model bahasa membaca masukan sebagai token, bukan sebagai kata atau karakter. Artikel atau laporan biasa dapat diubah menjadi ribuan token. Mekanisme atensi di sebagian besar transformer membandingkan banyak pasangan token, dan beban kerjanya meningkat pesat seiring bertambah panjangnya urutan. Konteks panjang meningkatkan penggunaan memori dan waktu pemrosesan, yang pada skala besar menjadi persoalan anggaran.

Apa itu token dan jendela konteks

Token adalah potongan bahasa yang dipahami model. Kata pendek mungkin terdiri dari satu token, kata yang lebih panjang dapat dipecah menjadi beberapa token, dan tanda baca juga dihitung. Jumlah maksimum token yang dapat dipertimbangkan model sekaligus disebut jendela konteks. Banyak berkas di dunia nyata melampaui batas tersebut, sehingga pengguna harus memangkas dokumen atau membayar mahal untuk model khusus dengan konteks panjang.

Mengapa piksel bisa lebih hemat daripada teks untuk penyimpanan

Encoder visual mengubah gambar menjadi kisi kecil berisi tambalan, lalu memadatkan kisi tersebut menjadi sekumpulan token visual. Encoder DeepSeek menggunakan blok pemadatan untuk mengurangi jumlah token sebelum meneruskan fitur ke dekoder. Salah satu contoh dalam catatan teknis menjelaskan gambar berukuran 1.024 x 1.024 piksel yang awalnya terdiri dari 4.096 token tambalan, lalu dikurangi menjadi 256 token padat sebelum masuk ke tumpukan bahasa visual. Jika 256 token itu dapat menangkap inti halaman padat yang jika tidak demikian akan memerlukan 1.500 token teks atau lebih, penghematannya langsung terasa.

Pertukarannya sederhana. Alih-alih menyimpan konteks panjang sebagai token teks, sistem menyimpan cuplikan sebagai token visual ringkas, lalu merekonstruksi maknanya sesuai kebutuhan. Cara ini menjaga penggunaan memori tetap terkendali, membantu mempertahankan tata letak dan diagram, serta menghindari sejumlah keterbatasan tokenizer teks. Konsekuensinya adalah tambahan tahap enkode dan dekode serta penurunan presisi secara bertahap pada rasio pemadatan yang sangat tinggi.

Di dalam model: DeepEncoder dan dekoder

DeepEncoder memadukan dua gagasan yang sudah dikenal: persepsi lokal dan pemahaman menyeluruh. Model ini menerapkan backbone Segment Anything Model untuk mengenali wilayah dan tepian secara terperinci, serta modul bergaya CLIP untuk memahami tata letak semantik yang lebih luas. Di antara keduanya terdapat pemadat konvolusional yang memangkas jumlah token visual sebelum meneruskannya ke tumpukan bahasa. Encoder mendukung beberapa mode resolusi, sehingga pengguna dapat menyesuaikan anggaran token dengan kompleksitas setiap halaman. Slide sederhana dapat menggunakan sedikit token. Halaman berita yang padat atau gambar ilmiah yang rumit mungkin memerlukan lebih banyak token.

Dekodernya adalah model bahasa Mixture of Experts yang dirancang dengan tiga miliar parameter, dengan sekitar 570 juta parameter aktif per token. Perutean pakar membantu model berfokus pada berbagai jenis konten tanpa mengaktifkan seluruh tiga miliar parameter untuk setiap token. Ini menghemat komputasi sekaligus menjaga kualitas. Sistem dapat menghasilkan teks biasa, mempertahankan struktur dalam format Markdown, bahkan mengekstrak data dari tabel dan bagan ke dalam format yang mudah diproses mesin. Sistem ini mendukung OCR multibahasa dan dapat menafsirkan diagram, struktur kimia, serta gambar geometri.

Preset konfigurasi mencakup Tiny, Small, Base, dan Large, serta mode dinamis untuk halaman yang sangat rumit. Preset ini menyeimbangkan ukuran gambar dan jumlah token. DeepSeek menyarankan pengguna memulai dengan Small untuk halaman pada umumnya, lalu beralih ke mode yang lebih tinggi hanya jika kontennya padat atau tata letaknya sulit.

Makna hasil tolok ukur dan angka presisi

Pemadatan hanya berguna jika dekoder dapat memulihkan teks dengan tingkat kesetiaan tinggi. Pada rasio pemadatan di bawah 10 kali, DeepSeek melaporkan akurasi sekitar 97 persen dalam pengujian dekode. Angka itu turun menjadi sekitar 60 persen pada pemadatan 20 kali. Tim juga menunjukkan contoh ketika 100 token visual mewakili dokumen yang jika tidak demikian akan menghabiskan 700 hingga 800 token teks, dengan presisi yang masih sekitar 97 persen pada tolok ukur terfokus. Angka-angka ini sejalan dengan klaim bahwa pemadatan sedang memberikan kombinasi terbaik antara penghematan dan akurasi.

Pada OmniDocBench, pengujian umum untuk pemahaman dokumen, model ini mengungguli sistem OCR yang dikenal luas meski menggunakan lebih sedikit token. Kebutuhan token bervariasi menurut kategori dokumen. Slide dan brosur sederhana mungkin memerlukan sekitar 64 token visual per halaman. Majalah atau surat kabar dengan banyak kolom dan gambar bisa memerlukan beberapa ratus token. Sistem ini dapat mempertahankan pemformatan atau menghapusnya, bergantung pada pengaturan pengguna.

Metrik operasionalnya ambisius. Tim menyebut lebih dari 200.000 halaman diproses per hari pada satu kartu Nvidia A100, dan sekitar 33 juta halaman per hari pada klaster 20 server. Kode pelatihan dan inferensi, bersama bobot model, tersedia dengan lisensi permisif. Kombinasi tersebut membuka peluang eksperimen cepat di lingkungan riset dan produksi.

Dampak potensial terhadap biaya, memori, dan desain produk AI

Banyak produk AI menemui batas ketika percakapan atau rangkaian dokumen menjadi panjang. Menyimpan konteks sebelumnya sebagai token visual memberi model lapisan memori yang lebih murah. Sistem dapat merangkum atau memadatkan giliran percakapan lama menjadi gambar, lalu mendekode detailnya hanya saat diperlukan. Dengan begitu, konteks teks aktif tetap ringkas sekaligus memungkinkan sistem mengingat fakta, kutipan, dan tata letak dari tahap sebelumnya. Cara ini juga membantu model menangani halaman dengan tabel kompleks atau matematika yang kurang cocok diproses oleh tokenizer tradisional.

Bagi pengguna, pendekatan ini membuka alur kerja yang praktis. Asisten dapat menerima PDF lengkap, kontrak, dan lembar kerja, menyimpan memori ringkas, lalu mengembalikan bagian tertentu beserta strukturnya saat diminta. Menyalin baris dari tabel atau mengekstrak keterangan gambar menjadi lebih mudah karena dekoder merekonstruksi struktur, bukan sekadar karakter mentah. Pendekatan ini juga mengisyaratkan sistem pencarian perusahaan yang efisien: mengindeks cuplikan halaman yang telah dipadatkan, lalu mendekode kutipan sesuai permintaan.

Bagi pengembang dan peneliti, kapasitas pemrosesan sangat penting. Sistem ini dapat menghasilkan korpus pelatihan berukuran besar untuk model bahasa dan visi, dengan memproses ratusan ribu halaman per GPU setiap hari. Kecepatan tersebut membantu pembuatan data terawasi dengan biaya lebih rendah. Industri yang bergantung pada bagan dan formulir, seperti keuangan, kesehatan, dan sains, mungkin mendapat manfaat dari proses digitalisasi yang lebih cepat dengan struktur yang lebih terjaga. Namun, kehati-hatian tetap diperlukan ketika keluaran yang dipadatkan digunakan untuk pelatihan berikutnya, karena kesalahan dekode kecil dapat menghasilkan label yang bising dalam skala besar.

Keterbatasan, risiko, dan pertanyaan terbuka

Pemadatan yang lebih tinggi menghasilkan anggaran token yang lebih kecil, tetapi menurunkan kesetiaan. Pada pemadatan sekitar 20 kali, akurasi yang dilaporkan turun menjadi sekitar 60 persen. Banyak tugas masih dapat menerima kesalahan kecil. Namun, tugas lain yang melibatkan nama, angka, dan klausul hukum menuntut pemulihan yang nyaris sempurna. Pengguna perlu menetapkan kebijakan untuk memproses halaman penting dengan mode pemadatan rendah dan menggunakan pemadatan agresif hanya untuk konteks yang tidak memerlukan reproduksi persis.

Aspek penalaran juga menjadi pertanyaan. Model mampu bernalar dengan baik menggunakan token teks karena dilatih dengan cara tersebut. Token visual membawa kecenderungan induktif yang berbeda. Dekoder harus merekonstruksi teks terlebih dahulu sebelum melakukan penalaran. Tahap tambahan ini mungkin memengaruhi tugas yang mengandalkan rangkaian pemikiran panjang. Tim perlu menguji penalaran bertahap ketika konteks penting tersimpan di balik lapisan gambar, serta mempertimbangkan mekanisme cadangan untuk tugas yang membutuhkan presisi tinggi.

Latensi dan perencanaan infrastruktur tetap perlu diperhatikan. Tahap enkode dan dekode tambahan menambah beban kerja. Penghematan baru terasa ketika dokumen berukuran besar atau percakapan berlangsung lama. Penerapan perlu mengukur waktu nyata, memori, dan biaya pada beberapa jenis dokumen untuk menentukan batas kapan harus melakukan pemadatan dan kapan harus menggunakan teks mentah. Format penyimpanan juga berubah. Gambar atau tensor menyerupai gambar menggantikan berkas teks mentah, yang dapat berdampak pada sistem temu kembali dan proses kepatuhan.

Privasi dan keamanan perlu mendapat perhatian. Memadatkan berkas sensitif menjadi gambar atau token visual tidak menghilangkan risiko. Kontrol akses, enkripsi, dan jejak audit harus tetap diterapkan pada penyimpanan hasil pemadatan. Beberapa dokumen, seperti hasil pindai beresolusi rendah atau tulisan tangan yang sulit dibaca, masih akan menjadi tantangan bagi model. Pemilihan mode dinamis dan pemeriksaan manusia tetap menjadi langkah bijak untuk alur kerja yang kritis.

Cara mencoba DeepSeek OCR sekarang

Halaman proyek di Hugging Face menyediakan kartu model, panduan memulai cepat, dan unduhan. Kode dan bobot model juga tersedia di GitHub dengan lisensi permisif yang mencakup penggunaan akademis maupun komersial. Pengembang dapat memulainya di sini: halaman model Hugging Face dan di sini: repositori GitHub.

Konfigurasi referensi mencantumkan Python 3.12.9 dan CUDA 11.8, dengan dependensi yang mencakup PyTorch, Transformers, Tokenizers, Einops, Addict, Easydict, dan Flash Attention. GPU Nvidia direkomendasikan untuk kecepatan. Mode preset memungkinkan pengguna menukar detail dengan biaya. Untuk dokumen bisnis standar, mode Small merupakan titik awal yang wajar. Halaman ilmiah atau hukum yang padat mungkin lebih cocok menggunakan resolusi lebih tinggi atau mode dinamis.

Alur kerja umum mengubah PDF menjadi gambar halaman, memasukkan setiap halaman ke DeepEncoder dengan resolusi yang dipilih, lalu mendekode token visual yang dihasilkan menggunakan model bahasa. Keluaran dapat berupa teks biasa untuk pencarian atau Markdown yang mempertahankan tabel dan judul bagian. Repositori GitHub menyertakan skrip untuk pemrosesan batch dan kiat meningkatkan kapasitas pemrosesan. Tim perlu memantau akurasi saat meningkatkan rasio pemadatan dan mempertahankan pengaturan konservatif untuk halaman penting.

Poin utama

• DeepSeek-OCR memadatkan teks panjang dengan menyimpannya sebagai gambar, lalu memulihkan kontennya sesuai kebutuhan menggunakan dekoder.
• Penggunaan token berkurang sekitar tujuh hingga 20 kali, bergantung pada pengaturan dan kompleksitas dokumen.
• Presisi dekode yang dilaporkan sekitar 97 persen pada pemadatan mendekati 10 kali, dan sekitar 60 persen pada pemadatan sekitar 20 kali.
• Arsitekturnya memadukan DeepEncoder dengan dekoder Mixture of Experts yang mengaktifkan sekitar 570 juta parameter per token.
• Mode yang tersedia berkisar dari Tiny hingga Large, ditambah opsi dinamis untuk halaman yang sangat rumit, sehingga pengguna dapat menetapkan anggaran token secara eksplisit.
• Hasil tolok ukur menunjukkan kinerja kuat pada OmniDocBench dengan penggunaan token lebih sedikit dibandingkan sistem OCR populer.
• Klaim kapasitas pemrosesan mencakup lebih dari 200.000 halaman per hari pada satu GPU Nvidia A100 dan sekitar 33 juta halaman per hari pada klaster 20 server.
• Keluaran terstruktur mencakup tabel Markdown dan data bagan, dengan dukungan untuk diagram, rumus, dan banyak bahasa.
• Kode sumber terbuka dan bobot model tersedia di Hugging Face dan GitHub dengan lisensi permisif.
• Penggunaan yang paling sesuai mencakup memori konteks panjang yang lebih murah, digitalisasi dokumen berskala besar, dan pembuatan data pelatihan, dengan pengaturan cermat untuk pekerjaan yang membutuhkan presisi tinggi.