本文へスキップ

BeaconFlow

コンピュータビジョンによる低遅延のグローバル遠隔ロボット操作

BeaconFlow の画面
カテゴリー
ロボティクスと AI
プラットフォーム
Android
状況
プロトタイプ
バージョン
v0.5.0-alpha
リリース
2025

BeaconFlow について

世界規模の遠隔手術は 2001 年の「リンドバーグ作戦」で初めて科学的に実証され、技術的に可能であることが示されました [1]。BeaconFlow はハイブリッド構成によって、その発想をアプリから使えるものへと進めます。遠隔医療、支援技術(運動機能に制限のある人の自立)、産業(危険な環境での安全な作業)への可能性を開くプロジェクトです。

できること

  • ローカルネットワークに依存せず、ロボットハードウェア(ESP32)を遠隔操作するモバイルアプリ
  • カメラによるリアルタイムの動作模倣
  • AI(TonyAI)による自律コマンド
  • 効果的で安定した遠隔ロボット制御に欠かせない、模倣モードの低遅延 [2]

画面

  • 遠隔操作のデジタルコックピット
    遠隔操作のデジタルコックピット動きをリアルタイムに検出するニューラルオーバーレイ付きの低遅延映像。
  • Kotlin アプリ
    Kotlin アプリ
  • テスト用ハードウェア
    テスト用ハードウェア
  • テスト用ハードウェア
    テスト用ハードウェア

どうつくったか

  • ESP32
  • OpenCV
  • TensorFlow
  • Kotlin
  • MQTT
  • Python
テレメトリ遅延
< 18ms
検出精度
90.1%
  • ハードウェア

    ESP32 マイコンがコマンドを受け取り、ロボットアームのサーボを動かします。

  • 通信

    アプリと ESP32 のグローバル接続には MQTT プロトコルを使用。

  • アプリ(ビジョン、エッジ AI、AI コマンド)

    アプリは Kotlin で開発。コンピュータビジョンモデル(エッジ AI)が端末上で動作模倣を処理し、遠隔操作とビジュアルサーボの要である遅延の課題に取り組みます [2]。最新の AI が自然言語のテキストコマンドをロボットの動作に変換します。