リアルタイムでのステレオビジョンにおけるソフトウェア・ハードウェアの課題を乗り越える
ステレオビジョンは周囲の3次元構造を捉える強力なイメージング技術で、人の両眼で奥行きを知覚するのと同様に、2台以上のカメラを少し異なる角度で配置します。この技術では、視野全体での高密度3次元測定が可能になり、構造化されていないダイナミックな環境でも優れた性能を発揮しますので、産業ロボティクスでの利用に最適です。
ビンピッキングから自律型ナビゲーションまで、幅広いロボットアプリケーションがステレオビジョンで実現できます。しかし、ステレオビジョンシステムをリアルタイムで稼働するには、次のような課題があります。
- 画像処理用の高度な計算処理能力
- 低レイテンシ性能の要件
- 影や反射光、照明不足などによる環境変動
- 組込ロボットプラットフォームにおける処理能力の制限
スマートソリューション：ソフトウェアの効率とハードウェアのパワーを組み合わせる
これらの課題に対処するには、アルゴリズムを最適化し、目的に合わせてハードウェアを構築することが不可欠です。奥行き推定では、セミグローバルマッチング（SGM）のような方法が速度と精度とのバランスに優れています。一方、ディープラーニングの技術では、視差マップをさらに精細化することが可能です。そのため奥行き知覚を、テクスチャの無い領域や遮蔽された領域にまで拡大することができます。
ステレオ画像のノイズも課題です。ノイズは照明条件やレンズのアーティファクトによって生じることがあります。しかし、バイラテラルフィルタやガイドフィルタなどのエッジ保持フィルタを使用すれば、ノイズを最小限に抑えることができます。しかも重要な構造の細部は保持されます。ですから、フィルタは高精度ロボット用途には欠かせません。
しかし、どんなに優れたソフトウェアでも、効果的に使うためには適切なハードウェアが必要です。そこで、 Bumblebee Xのようなオンボード処理ステレオカメラが威力を発揮します。高度な計算能力が必要な（ステレオマッチング、歪み補正、視差計算などの）タスクを直接デバイス上で処理することで、ロボットのメインプロセッサの負荷を減らすことができます。これによりAIベースの意思決定やモーションプランニング、センサーフュージョンなどのシステムリソースを軽減できるので、より高速でスマートなロボット技術が可能になります。
高解像度ステレオカメラによるリアルタイムシステムの計算負荷の管理
手術ナビゲーションのような高精度のロボティクスアプリケーションにおいては、特にリアルタイムの応答性と処理性能の制約とのバランスをとるのが難しくなります。センサーデータを効率よく処理することが必須です。最新のステレオカメラは、RAW画像データでシステムを圧倒する代わりに、前もって処理した奥行きマップを提供します。そのため帯域幅が大幅に削減され、システム統合も簡単になります。
GPUは非常に高性能で汎用的な並列計算に広く利用されていますが、ステレオマッチングは計算負荷が高くGPUのリソースをすぐに消費してしまいます。特に他のAIや制御タスクが並列処理される場合には顕著です。このため、FPGAでの処理が戦略的にアドバンテージとなります。ステレオ画像処理を専用のFPGAで分散処理することにより Bumblebee X のようなプラットフォームが計算負荷をシステム全体で最適化し、特に組み込み用途やリソースに制約のある状況において、よりスムーズで高速かつ効率的な運用が可能になります。
過酷で予測不可能な環境での運用
屋外や産業環境は、ステレオビジョンシステムにとって非常に挑戦的な環境です。直射日光や濃い影、霧や雨といった変動があると、画像の品質が低下し、奥行きを正確に表現できなくなるためです。特にストラクチャードライトストラクチャードライトやタイムオブフライト（ToF）カメラといったアクティブセンサーは、環境光の影響を受けやすいため、かなり苦戦します。
これに対して、パッシブステレオシステムの場合は、このような環境にあまり影響を受けません。自然な画像コントラストだけを用いるので、変動する照明条件下でも本質的に頑健なのです。高ダイナミックレンジ（HDR）イメージングと組み合わせることで、ステレオカメラは幅広い輝度レベルで細部まで鮮明に捉え、明るくても影になっていても、その場における重要な情報を再現します。
画像をさらに鮮明にする必要がある場合は、ディープラーニングに基づくノイズ除去技術を適用することで、奥行きマップの品質を向上できます。しかし、この方法は計算負荷が高く、効率化には厳選されたトレーニングデータが必要です。
結局のところ、全てのアプリケーションで完璧な奥行き知覚を可能とする普遍的な解はありません。自律型ナビゲーション、物体追跡、高精度なピックアンドプレースなど、それぞれのユースケースに応じて、技術を組み合わせていく必要があります。しかし、HDR機能を搭載し最適に設計されたパッシブステレオシステムを採用する事で、ダイナミックで予測不可能な環境でも、信頼性の高い性能を実現するための、強力で柔軟な基盤を提供できるのです。
高解像度3次元点群による舗装点検
産業環境におけるキャリブレーションドリフトとの戦い
ステレオキャリブレーションは、長期にわたり正確に保つことが重要です。しかし難しい課題でもあります。現実の場面では、振動、温度変化、物理的な取り扱いなどにより、キャリブレーションドリフトが発生します。そしてカメラの内部パラメータと外部パラメータが微妙に変化し、奥行き検知が不正確になります。
ロボティクスでは，ささいな位置ずれが不安定なパレット積載、ピッキングミス、ナビゲーションエラーを引き起こします。このような問題を低減するには、以下の対策が必要です。
- カメラの設計における熱安定性の高い素材の採用
- 振動を低減するマウントの設計
- 予防保全の一部としての定期的なキャリブレーション実施
Bumblebee X には20年以上にわたる社内でキャリブレーションの基盤やアルゴリズムの開発の歴史があり、産業グレードの信頼性を確保してきました。頑丈なハウジングや熱的に安定した機械設計を取り入れ、工場調整済みのレンズを採用して、時間経過に伴うキャリブレーションのずれを最小限に抑えています。このように入念な対策をすることで、過酷な環境下でも安定した性能を発揮しながらもダウンタイムを減らし、ファクトリーオートメーション、パレタイズ、ロボットによる誘導などのアプリケーションにおけるスループットを最大化しています。
結論
ステレオビジョンは、ロボットによるリアルタイムの奥行き知覚を実現し、ダイナミックな環境で必要となる豊かな3次元データを提供しています。しかし、最大限に性能を発揮するには、単純にカメラを２台使用するだけでは不十分です。高解像度ステレオイメージングでは、高度なソフトウェアアルゴリズムと専用ハードウェアとの絶妙なバランスで、現実世界の課題に対応しているのです。
重い計算負荷の管理、過酷な照明条件への対処、そして長期的なキャリブレーション精度の確保といったことが、システムに影響します。このため Bumblebee X のような高度なプラットフォームの設計においては、単なる画像取得のみならず、オンボードのステレオビジョンにおけるより根本的な技術的課題の解決を視野に入れる必要があるのです。