Visi 3D adalah bidang multidisiplin yang melibatkan grafik komputer, visi komputer, dan kecerdasan buatan. Hal ini bertujuan untuk memungkinkan mesin memahami dan memproses informasi dalam ruang-dimensi, mencapai persepsi kedalaman, pengenalan, dan pemahaman objek dan pemandangan.
Tugas pokok
Rekonstruksi 3D
Estimasi kedalaman pemandangan 3D atau pengambilan sampel digital permukaan objek, serta pemrosesan dan tampilan data 3D; rekonstruksi bermata, rekonstruksi binokular, rekonstruksi berbasis cahaya-terstruktur, rekonstruksi berbasis-laser; -rekonstruksi 3D skala besar, rekonstruksi 3D seluler.
Estimasi Pose
Perhitungan posisi dan orientasi kamera atau objek dalam-ruang fisik tiga dimensi, dan pelacakan-waktu nyata.
Pemahaman 3D
Deteksi, pengenalan, dan pengambilan objek, serta segmentasi dan pelabelan semantik pada adegan atau objek.
Prinsip Kerja
Pencitraan visi 3D adalah salah satu metode terpenting untuk persepsi informasi dalam robot industri, dan dapat dibagi menjadi metode pencitraan optik dan-non-optik. Saat ini, metode optik adalah yang paling banyak digunakan.
Metode-Waktu-Penerbangan (TOF).
Metode ini menghitung jarak suatu benda dengan mengukur perbedaan waktu antara pancaran dan penerimaan cahaya. Mengambil contoh kamera TOF, setiap piksel menggunakan perbedaan waktu penerbangan cahaya untuk mendapatkan kedalaman objek. Dalam metode pengukuran klasik, sistem detektor memulai penghitungan waktu saat memancarkan pulsa cahaya, menyimpan waktu bolak-balik saat menerima gema cahaya target, dan memperkirakan jarak target berdasarkan rumus.
Ini dibagi menjadi TOF langsung (DTOF) dan TOF tidak langsung (I-TOF). DTOF biasanya digunakan dalam sistem rentang-titik tunggal, dan untuk mencapai pencitraan 3D-luas area sering kali memerlukan teknologi pemindaian; I-TOF secara tidak langsung mengekstrapolasi waktu perjalanan pulang pergi dari-pengukuran intensitas cahaya yang dibatasi waktu, menghilangkan kebutuhan akan pengaturan waktu yang tepat, dan saat ini merupakan solusi komersial untuk mixer elektronik dan optik berdasarkan kamera TOF. Pencitraan TOF dapat digunakan untuk bidang pandang yang luas,-jarak jauh,-presisi{9}}rendah, dan akuisisi gambar 3D-biaya rendah, dan digunakan untuk persepsi lingkungan dalam sistem tak berawak yang cerdas (seperti robot, kendaraan tak berawak, drone, dll.).
Pencitraan 3D Proyeksi Cahaya Terstruktur
Pencitraan 3D proyeksi cahaya terstruktur saat ini menjadi metode utama persepsi penglihatan 3D pada robot. Proyektor memproyeksikan pola iluminasi cahaya terstruktur tertentu ke objek target, seperti garis-garis atau pola kode Abu-abu, dan kamera menangkap gambar yang dimodulasi oleh target. Karena permukaan benda yang bergelombang, pola cahaya terstruktur pada permukaan benda berubah bentuk. Dengan memproses gambar dan menggunakan model visual untuk membandingkan pola sebelum dan sesudah deformasi, serta menganalisis distorsi pola, informasi koordinat tiga-dimensi setiap titik pada permukaan objek target dapat dihitung.
Dalam aplikasi sistem mata-tangan robot, untuk skenario yang tidak memerlukan akurasi pengukuran 3D yang tinggi (seperti pembuatan palet, depalletisasi, dan penangkapan 3D), metode memproyeksikan pola bintik acak semu-untuk mendapatkan informasi 3D target cukup populer. Metode ini biasa digunakan dalam inspeksi industri dan pemodelan 3D, serta dapat dengan cepat memperoleh data 3D permukaan suatu benda. Sistem pencitraan cahaya terstruktur terdiri dari beberapa proyektor dan kamera. Bentuk struktural yang umum meliputi: proyektor tunggal-kamera tunggal, proyektor tunggal-kamera ganda, proyektor tunggal-beberapa kamera, kamera tunggal-proyektor ganda, dan kamera tunggal-beberapa proyektor.
Prinsip kerja dasar pencitraan 3D proyeksi cahaya terstruktur adalah sebagai berikut: proyektor memproyeksikan pola iluminasi cahaya terstruktur tertentu ke objek target, kamera menangkap gambar yang dimodulasi oleh target, dan kemudian informasi 3D dari objek target diperoleh melalui pemrosesan gambar dan model visual. Jenis proyektor yang umum meliputi: layar kristal cair (LCD), proyeksi modulasi cahaya digital (DLP: seperti perangkat cermin mikro digital (DMD)), dan proyeksi langsung pola LED laser.
Berdasarkan jumlah proyeksi cahaya terstruktur, pencitraan 3D proyeksi cahaya terstruktur dapat dibagi menjadi metode 3D-jepretan tunggal dan 3D multi-jepretan. Cahaya terstruktur-tembakan tunggal terutama menggunakan pengkodean multiplexing spasial dan pengkodean multiplexing frekuensi. Bentuk pengkodean yang umum meliputi: pengkodean warna, pengindeksan skala abu-abu, pengkodean bentuk geometris, dan pola bintik acak. Saat ini, dalam aplikasi sistem mata tangan-robot, untuk skenario yang tidak memerlukan akurasi pengukuran 3D yang tinggi, seperti pembuatan palet, depalletisasi, dan penangkapan 3D, metode memproyeksikan pola bintik acak semu untuk memperoleh informasi 3D target banyak digunakan.
Metode 3D-multishot umumnya menggunakan pengkodean-multiplexing waktu. Bentuk pengkodean pola yang umum mencakup: pengkodean biner, pengkodean pergeseran fase-frekuensi multi, dan metode pengkodean hibrid (seperti kode Gray dan pinggiran pergeseran-fase). Prinsip dasar pencitraan 3D cahaya terstruktur ditunjukkan pada gambar di bawah. Pola cahaya terstruktur dihasilkan menggunakan komputer atau perangkat optik khusus, dan kemudian diproyeksikan ke permukaan objek yang diuji menggunakan sistem proyeksi optik. Perangkat akuisisi gambar (seperti kamera CCD atau CMOS) digunakan untuk menangkap gambar cahaya terstruktur yang dimodulasi dan diubah bentuknya oleh permukaan objek. Algoritma pemrosesan gambar kemudian digunakan untuk menghitung korespondensi antara setiap piksel dalam gambar dan titik-titik pada kontur objek. Terakhir, informasi kontur tiga dimensi objek dihitung menggunakan model struktur sistem dan teknologi kalibrasinya. Dalam aplikasi praktis, proyeksi kode Gray, proyeksi pinggiran pergeseran fase sinusoidal, atau teknologi 3D pergeseran kode Gray dan fase sinusoidal biasanya digunakan.
Untuk permukaan kasar, cahaya terstruktur dapat langsung diproyeksikan ke permukaan objek untuk pengukuran pencitraan visual; namun, untuk pengukuran 3D pada permukaan halus dan objek cermin yang sangat reflektif, proyeksi cahaya terstruktur tidak dapat diproyeksikan secara langsung ke permukaan yang diuji, dan pengukuran 3D memerlukan penggunaan teknik refleksi specular.
Dalam skema ini, pinggiran tidak langsung diproyeksikan ke kontur objek yang diuji, melainkan ke layar hamburan, atau layar kristal cair (LCD) digunakan untuk menampilkan pinggiran secara langsung. Kamera memperoleh informasi pinggiran yang dimodulasi oleh perubahan kelengkungan permukaan terang melalui jalur cahaya yang dipantulkan, lalu menghitung morfologi kontur tiga-dimensi.
Memindai Pencitraan 3D
Metode pemindaian pencitraan 3D dapat dibagi menjadi metode rentang pemindaian, triangulasi aktif, dan metode confocal kromatik. Pemindaian rentang menggunakan berkas cahaya terkolimasi untuk memindai seluruh permukaan target untuk pengukuran 3D. Metode rentang pemindaian yang umum meliputi: metode penerbangan-titik waktu-of-tunggal, seperti rentang modulasi frekuensi gelombang kontinu (FM-CW) dan rentang pulsa (LiDAR); interferometri hamburan laser, seperti interferometer berdasarkan prinsip interferensi multi-panjang gelombang, interferensi holografik, interferensi cahaya putih, dan interferensi spekel; dan metode confocal, seperti confocal kromatik dan pemfokusan otomatis.
Dalam metode 3D pemindaian-titik dengan rentang titik tunggal, metode-waktu-penerbangan-satu titik cocok untuk pemindaian-jarak jauh, namun keakuratan pengukurannya relatif rendah, umumnya dalam rentang milimeter. Metode pemindaian-titik tunggal lainnya mencakup interferometri laser titik tunggal, mikroskop confocal, dan triangulasi laser aktif titik tunggal. Metode ini menawarkan akurasi pengukuran yang tinggi, namun metode pertama memerlukan lingkungan yang terkendali. Pemindaian garis menawarkan akurasi sedang dan efisiensi tinggi. Triangulasi laser aktif dan mikroskop confocal kromatik sangat cocok untuk pengukuran 3D pada efektor ujung lengan robot. Triangulasi aktif didasarkan pada prinsip triangulasi, menggunakan sinar terkolimasi atau satu atau lebih sinar planar untuk memindai permukaan target untuk pengukuran 3D.
Sinar cahaya biasanya diperoleh dengan cara berikut: kolimasi laser, perluasan sinar prismatik permukaan silinder atau kuadrik, cahaya non-koheren (seperti cahaya putih, sumber cahaya LED) yang diproyeksikan melalui lubang kecil, celah (kisi), atau difraksi cahaya koheren. Triangulasi aktif dapat dibagi menjadi tiga jenis: pemindaian-titik tunggal, pemindaian-baris tunggal, dan pemindaian-banyak baris. Saat ini, sebagian besar produk yang tersedia secara komersial untuk efektor ujung lengan robot adalah pemindai-titik dan-garis tunggal.
Dalam metode pemindaian multi-baris, identifikasi nomor pinggiran yang andal merupakan sebuah tantangan. Untuk mengidentifikasi bilangan pinggiran secara akurat, dua set bidang cahaya tegak lurus biasanya dicitrakan dengan kecepatan tinggi secara bergantian. Ini juga mengaktifkan pemindaian "Triangulasi Terbang", yang proses pemindaian dan rekonstruksi 3Dnya ditunjukkan pada gambar di bawah. Proyeksi-multi-garis dan-pencitraan flash tunggal menghasilkan tampilan 3D yang jarang. Beberapa rangkaian tampilan 3D dihasilkan melalui pemindaian proyeksi pinggiran memanjang dan melintang, lalu model permukaan 3D beresolusi tinggi, lengkap, dan padat dihasilkan melalui registrasi gambar 3D.
Mikroskop confocal kromatik tampaknya mampu memindai dan mengukur objek buram dan transparan yang kasar dan halus, seperti permukaan reflektif dan permukaan kaca transparan, dan saat ini banyak digunakan dalam bidang seperti inspeksi 3D pada sampul ponsel. Pemindaian confocal kromatik memiliki tiga jenis: pemindaian pengukuran jarak absolut-titik satu-dimensi tunggal, pemindaian larik multi-titik, dan pemindaian garis kontinu. Gambar di bawah menunjukkan contoh pengukuran jarak absolut dan pemindaian garis kontinu. Pemindaian garis kontinu juga merupakan jenis pemindaian larik, namun dengan susunan titik yang lebih besar dan padat.
Pencitraan 3D Visi Stereo
Penglihatan stereo umumnya mengacu pada rekonstruksi struktur 3D atau informasi kedalaman objek target dengan memperoleh dua gambar atau lebih dari sudut pandang berbeda. Isyarat visual persepsi kedalaman dapat dibagi menjadi isyarat okular dan isyarat binokular (disparitas binokular). Saat ini, penglihatan stereo 3D dapat dicapai melalui penglihatan monokuler, penglihatan binokular, penglihatan multi-tampilan, dan pencitraan 3D bidang cahaya (mata majemuk elektronik atau kamera array). Isyarat persepsi kedalaman penglihatan monokuler biasanya mencakup: perspektif, perbedaan panjang fokus, pencitraan multi-tampilan, oklusi, bayangan, paralaks gerakan, dll.
Dalam penglihatan robot, hal ini juga dapat dicapai dengan menggunakan pencitraan cermin dan metode bentuk-dari-X lainnya. Isyarat visual persepsi kedalaman penglihatan binokular meliputi: posisi konvergensi mata dan disparitas binokular. Dalam visi mesin, dua kamera digunakan untuk memperoleh dua gambar sudut pandang dari pemandangan target yang sama dari dua sudut pandang, dan kemudian perbedaan titik yang sesuai dalam dua gambar sudut pandang dihitung untuk mendapatkan informasi kedalaman 3D dari pemandangan target. Proses perhitungan penglihatan stereo binokular yang khas mencakup empat langkah berikut: koreksi distorsi gambar, perbaikan pasangan gambar stereo, registrasi gambar, dan perhitungan peta disparitas proyeksi ulang triangulasi.
Pencitraan penglihatan multi-tampilan, atau pencitraan stereo multi-tampilan, menggunakan satu atau beberapa kamera untuk memperoleh beberapa gambar dari pemandangan target yang sama dari berbagai sudut pandang untuk merekonstruksi informasi tiga-dimensi dari pemandangan target.
Pencitraan stereo multi-tampilan terutama digunakan dalam skenario berikut: menggunakan beberapa kamera dari sudut pandang berbeda untuk memperoleh beberapa gambar dari pemandangan target yang sama, lalu menggunakan rekonstruksi stereo berbasis fitur dan algoritme lainnya untuk memperoleh informasi kedalaman pemandangan dan struktur spasial; menggunakan teknik struktur-dari-gerakan (SFM), menggunakan kamera yang sama dengan parameter intrinsiknya tidak berubah, untuk memperoleh banyak gambar dari sudut pandang berbeda untuk merekonstruksi informasi tiga-dimensi pemandangan target. Teknologi ini biasanya digunakan untuk melacak sejumlah besar titik kontrol dalam suatu pemandangan target, secara terus-menerus memulihkan informasi struktur 3D pemandangan tersebut, serta pose dan posisi kamera. Pencitraan medan cahaya berbeda dari prinsip pencitraan kamera tradisional. Kamera tradisional membentuk gambar 2D langsung pada bidang pencitraan setelah cahaya melewati lensa.
Kamera bidang cahaya menambahkan susunan lensa mikro di depan bidang sensor. Cahaya yang datang melalui lensa utama melewati setiap lensa mikro lagi dan diterima oleh susunan fotosensitif, sehingga memperoleh informasi tentang arah dan posisi sinar cahaya. Hal ini memungkinkan hasil pencitraan diproses kemudian, menghasilkan efek "bidik dulu, fokus nanti", dan memungkinkan pemulihan struktur tiga dimensi-pemandangan menggunakan informasi ini. Di bidang seperti realitas maya dan realitas tertambah, teknologi pencitraan bidang cahaya membantu memberikan pengalaman visual yang lebih realistis dan memungkinkan persepsi dan interaksi tiga{{4}dimensi dengan pemandangan lebih akurat.
Prinsip pencitraan 3D medan cahaya berbeda secara struktural dari prinsip pencitraan kamera CCD dan CMOS tradisional. Kamera tradisional menggambarkan cahaya langsung ke bidang pencitraan setelah melewati lensa, umumnya menghasilkan gambar 2D. Kamera bidang cahaya menambahkan susunan lensa mikro di depan bidang sensor, menyebabkan cahaya yang datang melalui lensa utama melewati setiap lensa mikro lagi dan diterima oleh susunan fotosensitif, sehingga memperoleh informasi tentang arah dan posisi sinar cahaya. Hal ini memungkinkan pasca-pemrosesan hasil pencitraan, sehingga menghasilkan efek "bidik dulu, fokus nanti".