正確なタイミングとデータ融合:なぜ同期がモバイルマッピングに重要なのか

いくらセンサーがよくても、同期しなければ利用可能なデータを得ることができません。

カメラシステムでは、解像度、鮮明さ、校正といったことが話題になります。しかし、カメラ、LiDAR、その他のセンサーが一緒に稼働するモバイルマッピングシステムでは、全てを同期させなければ、どれひとつ機能しないのです。

全球測位衛星システム(GNSS)やLiDAR、カメラデータのアライメントにわずかなズレがあれば、すぐに気づくはずです。色調の変化やレイヤー間のドリフト、オーバーラップ不足が現れるからです。これらを後工程で修正すると、時間がかかり、正確性や結果への信頼が損なわれます。

ここでは、信頼性の高いクリーンなデータが必要なモバイルマッピングチームから学んだこと、特に複数のセンサータイプを統合する場合のポイントについて説明します。

まずはトリガーから:時間と距離

センサーやカメラのトリガーは、システムごとに異なります。時間に基づいてフレームを(100ミリ秒ごとなどで)取得するものもその一例です。ビデオならばそれでも良いでしょうが、モバイルマッピングシステムでは、車両速度が常に変化します。本当に必要なのは、フレーム間の距離を一貫して保つことです。このため、ギャップが生じたり不要な重なりのないよう、シーンを均等にキャプチャーします。

ここでは、距離測定器(DMIs)が有効です。固定された時間間隔ではなく、地上での移動距離に基づいてパルスを送ることで、速度に関係なく、カバレージが均一になり、オーバーラップも一定に保たれます。

GNSS受信機から出力される1秒あたりのパルス数(PPS)信号と組み合わせることで、全ての取得フレーム(画像、点群、内部測定ユニット(IMU)データ)を、時間・空間的に単一の正確な瞬間に合わせることができます。

Precision Timing and Data Fusion-chart.png

こうして各画像をペアとなるLiDARや位置データと物理的に同じ位置に対応させることができ、しかもフレームやパルス単位で可能になります。

同期ドリフトがなぜ実際に問題になるのか

タイミングを完璧にできない場合、以下の問題が発生します。

  • LiDARでスキャンし検出した電柱について、対応する画像が遅延すると、各3次元位置でのテクスチャや色と関連付けるのが困難になります。
  • 画像のタイムスタンプもGNSSと合わず、地理的な位置が不正確になります。
  • IMUデータでは、カメラがトリガーされた時点と異なる車両の向きが伝えられ、組み合わせたデータセットに投影や誤りが生じます。
  • 点群の着色が不正確になり、セグメンテーションソフトウェアもフィーチャーを誤分類するようになります。

わずか10~20ミリ秒のずれでも連鎖的に問題を引き起こす可能性があり、再処理や手動修正が必要となったり、仕様を満たさないデータが生成されたりします。

正確なタイミングで,後処理のいらないクリーンなデータを

同期を厳格に行うシステムでは、良好なデータが取得できるだけでなく、全ての工程が高速化されます。

正確なトリガーにより各画像のタイムスタンプが明確になると、GNSSやLiDARとの整合がシンプルになり点群の着色も正確になるので、シーンのセグメンテーションの信頼性が高まります。後処理のワークフローもスムーズになり、手動修正やパッチの頻度も低減できます。

モバイルマッピングシステムはデータ量が膨大で納期が厳しい環境ですが、同期を完璧にすることで、リスクやリワークを軽減できます。

同期性能を評価する際の確認事項

Precision Timing and Data Fusion-2-Evaluation Criteria 1200-628.jpeg

カメラシステムの選定にあたり、技術チームが尋ねる実際的な質問は次のとおりです。

  • DMIのような外部トリガーを受け付け、遅延なく応答できるか
  • 信頼性の高いアライメントがとれるよう、ハードウェアレベルでフレームにタイムスタンプを付与しているか
  • ドリフトが蓄積されず、長期の調査ミッションでも同期を保てるか
  • 後処理での大幅な補正の必要がなく、LiDAR、GNSS、IMUデータと明確に統合できるか
  • 実際のモバイルマッピングアプリケーションにおいて、これまで問題なく利用されているか

上記の項目のなかで不明確なものは、処理工程で問題になる可能性があります。

こういった項目を確認しておくことで、単に機能が備わったシステムなのか、それともプロジェクトやプラットフォームを問わず一貫したパフォーマンスを発揮するシステムなのかが区別できます。

なぜフィールドで同期が問題になるのか

同期とは実験室の仕様ではなく、システムレベルでの実現手段です。同期が適切に行われると、モバイルマッピングプラットフォームからは信頼性が高く分析も容易な、高度に統合されたデータを容易に提供できます。

同期が正しく行われなければ、時間が無駄になり、正確さや信用も失われます。