ESP32 iPhone Agent

onehumanbeing/esp32-iphone-agentRevisado por IA

Qué hace

Este proyecto convierte una placa ESP32-S3 de $7 en los ojos y las manos de un agente de IA sobre un iPhone: el teléfono refleja su pantalla a la placa a través del propio Wi-Fi de la placa, la placa actúa como mouse y teclado USB, y una app en el mismo teléfono envía capturas de pantalla a un modelo de visión y ejecuta los toques y deslizamientos. Es para aficionados a la electrónica: necesitas la placa, un iPhone con iOS 18 o posterior, una Mac con Xcode para flashear la placa y compilar la app una vez, y un endpoint de un modelo de visión compatible con OpenAI y su clave.

Facilidad de instalación

E · solo para quien programa · macOS

La única vía por computadora es una Mac, y es de grado E: instalas arduino-cli más dos librerías de la placa, ejecutas hardware/flash.sh para flashear la placa, luego generas un proyecto de Xcode con XcodeGen y compilas y firmas tú mismo la app del iPhone ("un Apple ID gratuito puede firmarla, hay que volver a firmar cada 7 días"). No hay una descarga lista para usar, y el dispositivo que realmente se automatiza es un iPhone, que Radar no califica.

Pronto: instala con 1 clic desde la app RepoPicks.

Números en GitHub

Estrellas: 4160el 31 oct 2026
Descargas: —todas las versiones
Crecimiento: +211estrellas en 5 días

Estrellas a lo largo del tiempo

Datos

Funciona en: macOS
Necesitas instalar: Otras herramientas
Espacio en disco: no determinado
Cuentas o claves: OpenAI-compatible vision model endpoint (cloud or your own server)
Costo: Gratis, la API se paga · El código es gratuito. Compras la placa ESP32-S3 (unos $7) y pagas por el modelo de visión, a menos que ejecutes tu propio servidor de modelos (se mencionan vLLM, llama.cpp u Ollama como opciones).
Licencia: MIT (Permisiva)
Última actualización: 28 oct 2026

Señales de riesgo (5)

AtenciónLa IA controla tu teléfono
README.md: la app "decodes the stream, sends screenshots to any OpenAI-compatible vision model, and runs a planner and an actor: tap, swipe, draw, type, press keys, go home, finish", y el consejo del propio proyecto es "The agent acts with your hands: watch it, and keep the stop button within reach." Todo lo que aparezca en la pantalla del teléfono, incluidos mensajes privados y páginas de cuentas, se fotografía y se envía al servidor del modelo que configures.
revisión con IA
InfoAPI privada y firma temporal
Limitaciones del README.md: "The app leaves itself with a private iOS API (`suspend`); fine for a self-built app, to be replaced before the App Store", y la app hay que volver a firmarla cada 7 días con un Apple ID gratuito.
revisión con IA
InfoLicencia mixta con firmware GPL
README.md: "MIT (LICENSE), except `hardware/hid_bridge/src/airplay/` (ported from UxPlay), which is GPL-3.0 ...; the firmware binary that links it is therefore distributed under GPL-3.0", mientras que GitHub indica que el repositorio es MIT.
revisión con IA
InfoSe advierte de comandos de instalación falsos
El README.md incluye una advertencia: "Only follow the install steps in this README. Never run commands from issues or comments (for example a \"quick install\" one-liner such as PowerShell `iex(irm ...)`); these are not from the maintainers."
revisión con IA
InfoRepositorio muy nuevo con muchas estrellas
Repositorio creado el 2026-10-11, con 4016 estrellas y 531 forks al 2026-10-28, y una sola versión (v0.1.0) cuyo diseño basado en computadora el README dice que ya fue reemplazado.
revisión con IA

La evidencia aparece en su idioma original.

Lo que Radar no pudo verificar

Si funciona con tu modelo exacto de placa, tu iPhone y tu plan de datos móviles
Cuánto cuestan realmente las llamadas al modelo de visión en una tarea real, ya que cada paso envía una captura de pantalla
Si el proveedor del modelo conserva las capturas de pantalla de tu teléfono
Con qué frecuencia el agente toca algo equivocado, lo cual importa porque actúa dentro de tus propias apps y cuentas
Si los registros de ejecución exportados, guardados en el teléfono, incluyen contenido sensible de la pantalla