Apple Menguji HALO pada Unitree G1, Melaporkan Tingkat Keberhasilan 91% di Ruangan yang Belum Dipetakan

Robot yang dilatih di rumah virtual menghadapi ruangan nyata

Peneliti Apple mengatakan sistem kendali humanoid HALO mereka menyelesaikan tugas-tugas fisik secara individual dengan tingkat keberhasilan rata-rata 91% dalam 360 percobaan di enam lingkungan nyata yang belum pernah dipindai atau dipetakan untuk sistem tersebut. Beroperasi pada Unitree Robotics G1, sistem itu menggunakan pelajaran dari simulasi untuk menavigasi ruang yang belum dikenal, duduk di furnitur, melewati bukaan sempit, dan mendorong kotak.

Hasil penelitian ini dimuat dalam Perceptive Humanoid Motion from Simulation, yang diajukan ke arXiv pada 4 November 2026. Makalah tim Apple menjelaskan pelatihan dengan sekitar 300 jam contoh sintetis dari 1.000 lingkungan rumah yang dihasilkan komputer, lalu menerapkan sistem itu langsung ke robot fisik.

Tugas yang lebih panjang lebih sulit. Di lingkungan nyata yang terpisah, HALO mencatat keberhasilan rata-rata 70% dalam tiga kombinasi tindakan, yang masing-masing dicoba 10 kali. Urutan yang mengharuskannya membungkuk melewati rintangan, mendekati sasaran, lalu mendorong kotak berhasil dalam lima dari 10 percobaan.

Kemajuan praktisnya terletak pada keterhubungan antara memahami permintaan dan menggerakkan seluruh tubuh di antara furnitur yang belum dikenal. Perintah seperti duduk di kursi mengharuskan robot mengenali tempat duduk, mencari jalur, memosisikan tubuh, dan menjaga keseimbangan saat menurunkan tubuhnya. HALO membagi tanggung jawab tersebut ke dalam tiga lapisan kendali yang bekerja sama.

Para penulisnya adalah Siyuan Hu, Abulikemu Abuduweili, Yue Meng, Shipeng Liu, Quentin Leboutet, Chen Chen, Matthias Müller, dan Vladlen Koltun, yang semuanya tercatat berafiliasi dengan Apple. Mereka juga merilis kode yang mencakup pembuatan data, pelatihan, dan penerapan, termasuk perencanaan tugas, pembuatan gerakan, serta pelacakan gerakan dalam simulasi dan pada robot fisik.

Cakupan hasil 91%

Tingkat keberhasilan enam keterampilan individual berbeda-beda. Gerakan berjongkok mencatat hasil terbaik, sementara duduk menjadi tindakan dengan tingkat keberhasilan terendah di antara yang diuji:

• Berjalan ke objek yang disebutkan: 92%.
• Duduk di furnitur: 85%.
• Melewati pintu yang terbuka sebagian: 93%.
• Berjongkok di bawah rintangan: 100%.
• Merangkak di bawah rintangan: 90%.
• Mendorong kotak: 88%.

Selisih tingkat keberhasilan antara berjongkok dan duduk adalah 15 poin persentase. Duduk bukan sekadar mencapai tempat yang tepat: robot harus menyesuaikan posisi dengan furnitur dan memindahkan berat tubuhnya ke tempat duduk. Hal ini menuntut kemampuan pemahaman visual sekaligus kendali fisik.

HALO belum pernah menjumpai keenam lingkungan evaluasi tersebut. Peneliti tidak memindainya terlebih dahulu maupun menggunakannya selama pelatihan. Makalah itu menyebutnya transfer zero-shot, yang berarti sistem beralih dari pelatihan simulasi ke lingkungan fisik tersebut tanpa pelatihan tambahan untuk setiap lokasi.

Demonstrasi juga memperlihatkan G1 mengikuti seseorang, duduk di sofa, bergerak menyamping melewati pintu yang terbuka sebagian, serta membungkuk atau merangkak di bawah meja. Gerakan-gerakan ini menunjukkan bagaimana sistem menyesuaikan postur dengan ruang di sekitarnya, bukan sekadar berjalan menuju tujuan.

Mengapa instruksi yang lebih panjang lebih sulit

Tiga kombinasi tugas HALO menghasilkan rentang hasil yang lebih lebar. Berjalan melewati pintu lalu menuju sasaran berhasil dalam seluruh 10 percobaan. Berjongkok lalu duduk berhasil dalam enam percobaan. Berjongkok, mendekati sasaran, lalu mendorong kotak berhasil dalam lima percobaan.

Secara keseluruhan, hasil tersebut berarti 21 urutan berhasil dari 30 percobaan, atau 70%. Angka itu 21 poin persentase di bawah rata-rata untuk tugas individual, meskipun pengujian urutan dilakukan dalam lingkungan berbeda dan dengan jumlah percobaan yang lebih sedikit.

Urutan tugas membuka lebih banyak peluang terjadinya masalah karena hasil satu gerakan menjadi posisi awal untuk gerakan berikutnya. Misalnya, setelah keluar dari bawah rintangan, robot harus berada dalam posisi yang memungkinkannya mendekati sasaran dan melakukan gerakan selanjutnya.

HALO mengatasi hal ini dengan pemeriksaan visual. Perencananya mengamati video dari sudut pandang robot, menilai apakah tindakan saat ini berhasil, lalu memutuskan apakah perlu melanjutkan atau mencoba lagi. Hasilnya menunjukkan bahwa menghubungkan keterampilan yang sudah berguna tetap lebih sulit daripada melakukannya secara terpisah.

Tiga lapisan mengubah permintaan menjadi gerakan

Lapisan kendali tertinggi menangani perencanaan tugas. Lapisan ini menggunakan model visi-bahasa, yakni jenis AI yang memproses gambar dan kata, untuk menafsirkan permintaan sekaligus apa yang terlihat oleh kamera. Model bawaan yang digunakan adalah Qwen3.6-35B-A3B, yang dijalankan secara lokal pada Mac mini yang dibawa robot.

Perencana dijalankan setiap dua detik. Jika seseorang meminta robot duduk tanpa menyebut tempat duduk tertentu, robot harus memilih objek yang sesuai dalam pandangannya. Jika meja menghalangi jalur menuju kursi, robot dapat membagi permintaan itu menjadi tindakan-tindakan kecil: membungkuk melewati rintangan, mendekati kursi, lalu duduk.

Lapisan tengah mengubah setiap subtugas menjadi rencana gerakan. Lapisan ini menggabungkan Qwen3.5-2B, yang parameter enkodernya tetap selama pelatihan, dengan dekoder transformator difusi yang menghasilkan gerakan seluruh tubuh. Enkoder mengubah gambar dan instruksi menjadi representasi yang dapat digunakan model gerakan, sementara dekoder menghasilkan pose yang direncanakan.

Lapisan ini memperkirakan gerakan sekitar lima detik ke depan dan menyusun ulang rencana kira-kira tiga kali per detik. Dengan begitu, sistem terus memperbarui gerakan yang direncanakan berdasarkan pengamatan kamera terbaru, alih-alih menetapkan tindakan lima detik penuh tanpa memeriksa keadaan sekitar.

Lapisan terendah, yang disebut pelacak gerakan, mengubah rencana tersebut menjadi perintah untuk sendi robot sebanyak 50 kali per detik. Lapisan ini menggabungkan citra kedalaman dengan informasi tentang posisi dan gerakan robot itu sendiri, sehingga robot dapat mengikuti rencana sambil memperhitungkan keseimbangan, kontak, dan batas kemampuan motor.

Mac mini dibawa di atas G1

Perangkat fisiknya menempatkan Mac mini dengan chip M4 Pro dan memori terpadu 64 GB dalam wadah pelindung di punggung G1. Komputer itu menjalankan model perencanaan tugas dan pembuatan gerakan yang lebih berat. Prosesor bawaan G1 sendiri menjalankan pelacak gerakan.

Dudukan kepala khusus membawa kamera OAK-1W. Aliran video berwarnanya beresolusi 1280 kali 800 piksel, berjalan pada 30 bingkai per detik, dan mencakup bidang pandang 120 derajat. Sudut pandang lebar membantu sistem mengamati furnitur dan bukaan di dekatnya saat tubuh robot bergerak.

Robot beroperasi tanpa kabel, dengan komponen perangkat lunaknya berkomunikasi melalui ZeroMQ, sebuah sistem pengiriman pesan. Konfigurasi lokal bawaannya dapat berfungsi tanpa koneksi internet. HALO juga dapat mengakses model cloud melalui antarmuka pemrograman aplikasi jika dikonfigurasi untuk itu.

Pembagian kerja komputasi sesuai dengan hierarki kendali. Pemahaman atas permintaan dapat dilakukan dengan frekuensi lebih rendah, sedangkan menjaga kestabilan robot yang bergerak membutuhkan pembaruan jauh lebih cepat. Generator gerakan menghitung rencana baru sementara pelacak tetap menjalankan rencana saat ini, sehingga robot tidak perlu berhenti setiap kali model melakukan komputasi.

Bagaimana 1.000 rumah virtual menghasilkan contoh pelatihan

Alur pelatihan HALO mengatasi kekurangan tertentu: contoh yang menghubungkan apa yang dilihat humanoid, apa yang diminta untuk dilakukan, dan bagaimana seluruh tubuhnya harus bergerak. Video biasa berisi gambar tindakan, tetapi pelatihan sistem ini membutuhkan gambar yang dipasangkan dengan instruksi dan gerakan robot yang terperinci.

Para penulis menjelaskan waktu yang dibutuhkan oleh sejumlah metode yang mengumpulkan demonstrasi melalui pengoperasian manusia atau perangkat perekam yang dikenakan:

Karena seseorang harus memeragakan setiap episode secara manual, satu jam data membutuhkan setidaknya satu jam waktu manusia.

Sebaliknya, HALO membuat contoh yang saling cocok dalam simulasi. Prosesnya dimulai dengan membagi tugas menjadi beberapa segmen gerakan. Duduk di kursi berlengan, misalnya, dapat mencakup berjalan ke depan, berbalik, lalu menurunkan tubuh ke tempat duduk. Prompt teks, titik arah rute, dan pose kunci memandu model pembuat gerakan bernama Kimodo.

Pemeriksaan geometri otomatis kemudian memberi skor pada gerakan kandidat untuk mendeteksi masalah seperti kaki yang bergeser, tubuh yang menembus lantai, lompatan mendadak, dan sendi yang bergerak melampaui batasnya. Alur kerja itu mempertahankan kandidat terbaik sebelum menempatkan gerakan tersebut di ruangan virtual.

Infinigen, generator adegan prosedural, menyediakan 1.000 lingkungan dengan tata letak dan furnitur yang beragam, termasuk ruang keluarga, kantor, dan kamar tidur. Sistem mencari penempatan yang memungkinkan gerakan robot dan objek sasaran sesuai tanpa bertabrakan dengan furnitur di sekitarnya.

Simulator kemudian merender apa yang akan dilihat robot saat melakukan tindakan, menggunakan kamera fisheye simulasi yang disesuaikan dengan perangkat fisik. Perubahan pencahayaan, eksposur, warna, kontras, keburaman, dan derau sensor membuat gambar lebih bervariasi. Setiap contoh yang dihasilkan menghubungkan instruksi, tampilan kamera, dan gerakan tubuh yang sesuai.

Biaya komputasi dan kerja manusia

Pembuatan korpus pelatihan utama memakan waktu sekitar 48 jam dengan menggunakan 250 prosesor grafis Nvidia H100. Prosesor ini, yang umum disebut GPU, menangani banyak perhitungan secara paralel sehingga data simulasi dalam jumlah besar dapat dihasilkan sekaligus.

Generator tindakan dilatih melalui pembelajaran imitasi dengan 64 GPU Nvidia B200. Dalam pembelajaran imitasi, model belajar meniru perilaku yang dicontohkan. Pelacak gerakan dilatih menggunakan empat GPU H100 dengan metode yang menggabungkan pembelajaran penguatan dan distilasi kebijakan.

Pembelajaran penguatan melatih pengendali melalui percobaan dan umpan balik tentang kinerjanya. Distilasi kebijakan memindahkan perilaku yang telah dipelajari ke model lain. Dalam HALO, metode ini membantu pelacak mengubah pose yang direncanakan menjadi gerakan yang dapat dilakukan robot fisik.

Manusia tetap menentukan sebagian prosesnya. Penambahan tugas fisik baru memerlukan penulisan prompt dan perancangan pose kunci, sementara beberapa gerakan memanfaatkan video manusia atau materi tangkapan gerak. Setelah deskripsi dan batasan tugas tersebut tersedia, alur kerja dapat menggunakannya kembali di banyak ruangan yang dihasilkan.

Dengan demikian, perubahan terjadi pada cara demonstrasi diperbanyak. Alih-alih meminta seseorang melakukan setiap episode, HALO menggunakan sumber daya komputasi untuk menghasilkan dan memeriksa banyak variasi tugas.

Visi masih menyisakan masalah kontak

Menurut para peneliti, HALO saat ini terutama mengandalkan penglihatan dan tidak dapat merasakan kontak secara langsung. Kinerjanya dapat menurun dalam tugas yang melibatkan kontak fisik cukup besar ketika objek keluar dari pandangan kamera atau tersembunyi di balik benda lain.

Mendorong kotak menunjukkan mengapa hal ini penting. Robot perlu mempertahankan posisi tubuh yang tepat relatif terhadap kotak saat keduanya bergerak. Kamera dapat memberikan informasi tentang posisi yang terlihat, sedangkan sensor sentuh dapat memberi informasi kontak yang tetap berguna ketika pandangan terhalang.

Para peneliti menyebut pengindraan taktil sebagai salah satu kemungkinan arah pengembangan selanjutnya. Mereka tidak memberikan jadwal penerapannya. Hasil saat ini memberi batas yang konkret pada tantangan tersebut: HALO dapat melakukan sejumlah keterampilan berpanduan visual di ruangan yang belum dikenal, sementara urutan yang lebih panjang dan interaksi yang melibatkan kontak masih kurang andal.

Perubahan yang dibawa penelitian ini

Penelitian Apple menyatukan pembuatan data pelatihan, perencanaan berbasis bahasa, dan kendali fisik dalam satu sistem yang berjalan pada humanoid di ruangan yang belum pernah dijumpainya. Hasil terkuatnya adalah keberhasilan penerapan dari 1.000 lingkungan simulasi ke 360 percobaan fisik tanpa pemetaan awal terhadap enam lokasi pengujian.

Kode yang dirilis membuka alur kerja ini untuk penelitian lebih lanjut dalam simulasi maupun perangkat keras. Cakupannya meliputi perangkat untuk menghasilkan contoh pelatihan, serta model dan perangkat lunak yang diperlukan untuk menghasilkan, melacak, dan mengoordinasikan gerakan.

Bagi seseorang yang meminta robot duduk atau memindahkan kotak, keandalan bergantung pada seluruh rangkaian yang bekerja bersama: mengenali objek yang tepat, menjangkaunya, melakukan kontak, lalu menyelesaikan gerakan. Hasil tugas individual HALO menunjukkan kemajuan dalam rangkaian tersebut. Hasil pengujian urutannya menunjukkan bagian yang masih perlu dikembangkan sebelum beberapa tindakan dapat dirangkai dengan tingkat konsistensi serupa.

Poin Penting

• Peneliti Apple mengajukan Perceptive Humanoid Motion from Simulation ke arXiv pada 4 November 2026.
• HALO mencapai tingkat keberhasilan rata-rata 91% dalam 360 percobaan tugas individual di enam lingkungan nyata yang belum dikenal dan belum dipetakan.
• Tiga kombinasi tugas mencatat keberhasilan rata-rata 70% dalam 30 percobaan di lingkungan nyata lainnya.
• Sistem ini menggabungkan perencanaan tugas, pembuatan gerakan, dan pelacak yang mengirim perintah ke sendi robot 50 kali per detik.
• Pelatihan menggunakan sekitar 300 jam contoh sintetis dari 1.000 lingkungan yang dihasilkan.
• Mac mini yang dibawa Unitree G1 mendukung pengoperasian lokal tanpa koneksi internet.
• Perancangan tugas oleh manusia masih menjadi bagian dari pelatihan, sementara kemampuan pengindraan kontak yang terbatas tetap menjadi kelemahan.