BeaconFlow
Teleoperação Robótica Global de Baixa Latência Via Visão Computacional
- Categoria
- Robótica & IA
- Plataforma
- Android
- Situação
- Protótipo
- Versão
- v0.5.0-alpha
- Lançamento
- 2025
Sobre o BeaconFlow
O conceito de telecirurgia global foi validado cientificamente pela primeira vez na 'Operação Lindbergh', em 2001, provando ser tecnicamente possível [1]. O BeaconFlow avança essa ideia ao torná-la acessível via app, empregando uma arquitetura híbrida. O projeto abre fronteiras para a telemedicina, tecnologia assistiva (dando autonomia a pessoas com limitações motoras) e para a indústria (operação segura em ambientes de risco).
O que dá para fazer
- Aplicativo móvel capaz de controlar hardware robótico (ESP32) remotamente, sem dependência de rede local
- Mimetismo de movimento em tempo real via câmera
- Comandos autônomos via IA (TonyAI)
- Baixa latência no modo de mimetismo, que é um componente crítico para a eficácia do controle telerrobótico e para a estabilidade do controle [2].
Telas
Como foiconstruído
- ESP32
- OpenCV
- TensorFlow
- Kotlin
- MQTT
- Python
- Latência de Telemetria
- < 18ms
- Precisão de Detecção
- 90.1%
Hardware
Foi utilizado o microcontrolador ESP32 para receber os comandos e controlar os servos do braço robótico.
Comunicação
A conexão global entre o app e o ESP32 foi estabelecida usando o protocolo MQTT.
App (Visão/Edge AI e Comandos IA)
O aplicativo foi desenvolvido em Kotlin. Modelos de visão computacional (Edge AI) foram implementados para processar localmente o mimetismo, abordando o desafio da latência, que é fundamental em sistemas de teleoperação e do 'Visual Servoing' [2]. Foi integrada uma Inteligência Artificial moderna para processar comandos de texto, escritos em linguagem natural, que são traduzidos em ações robóticas.



