Pular para o conteúdo

BeaconFlow

Teleoperação Robótica Global de Baixa Latência Via Visão Computacional

Tela do BeaconFlow
Categoria
Robótica & IA
Plataforma
Android
Situação
Protótipo
Versão
v0.5.0-alpha
Lançamento
2025

Sobre o BeaconFlow

O conceito de telecirurgia global foi validado cientificamente pela primeira vez na 'Operação Lindbergh', em 2001, provando ser tecnicamente possível [1]. O BeaconFlow avança essa ideia ao torná-la acessível via app, empregando uma arquitetura híbrida. O projeto abre fronteiras para a telemedicina, tecnologia assistiva (dando autonomia a pessoas com limitações motoras) e para a indústria (operação segura em ambientes de risco).

O que dá para fazer

  • Aplicativo móvel capaz de controlar hardware robótico (ESP32) remotamente, sem dependência de rede local
  • Mimetismo de movimento em tempo real via câmera
  • Comandos autônomos via IA (TonyAI)
  • Baixa latência no modo de mimetismo, que é um componente crítico para a eficácia do controle telerrobótico e para a estabilidade do controle [2].

Telas

  • Cockpit Digital de Teleoperação
    Cockpit Digital de TeleoperaçãoStreaming de vídeo de baixa latência com overlay neural de detecção de movimentos em tempo real.
  • Imagem do App Kotlin
    Imagem do App Kotlin
  • Imagem do Hardware de Teste
    Imagem do Hardware de Teste
  • Imagem do Hardware de Teste
    Imagem do Hardware de Teste

Como foiconstruído

  • ESP32
  • OpenCV
  • TensorFlow
  • Kotlin
  • MQTT
  • Python
Latência de Telemetria
< 18ms
Precisão de Detecção
90.1%
  • Hardware

    Foi utilizado o microcontrolador ESP32 para receber os comandos e controlar os servos do braço robótico.

  • Comunicação

    A conexão global entre o app e o ESP32 foi estabelecida usando o protocolo MQTT.

  • App (Visão/Edge AI e Comandos IA)

    O aplicativo foi desenvolvido em Kotlin. Modelos de visão computacional (Edge AI) foram implementados para processar localmente o mimetismo, abordando o desafio da latência, que é fundamental em sistemas de teleoperação e do 'Visual Servoing' [2]. Foi integrada uma Inteligência Artificial moderna para processar comandos de texto, escritos em linguagem natural, que são traduzidos em ações robóticas.