Hola a todos y todas, les habla Petya, Líder Senior de Alianzas Tecnológicas y Vinculación. Me da mucho gusto compartir con ustedes esta tercera edición de "Historias de colaboradores de código abierto de HOT". Mientras que en las dos ediciones anteriores —aquí y aquí— nos enfocamos en destacar historias individuales, esta vez quise compartirles nuestra colaboración con una pequeña organización estudiantil de la Universidad de California, Berkeley.

Code for Good Berkeley se puso en contacto conmigo por correo electrónico a inicios de año con la propuesta de colaborar, y me impresionó mucho lo profesional y apasionado que era el equipo. Comenzamos a colaborar con ellos durante tres meses en dos proyectos independientes: OAM Uploader e Imágenes a Nivel de Calle.

A continuación, la historia del equipo, integrado por los gerentes de proyecto Aniket Gupta y Shayla He, junto con los miembros del equipo Riya Khasnis, Aryan Das, Michelle Bao, Bryan Huang, Aadhi Balasubramanian y Takenosuke Nagata, quienes trabajaron en el proyecto de imágenes a nivel de calle asistido por IA, supervisado por Sam Woodcock, Líder Técnico Senior de HOT. En lugar de que yo les cuente más al respecto, ¡escuchémoslo directamente de ellos!

¿Qué es el programa Code for Good?

Code for Good Berkeley es una organización dirigida por estudiantes de la Universidad de California, Berkeley, que colabora con organizaciones sin fines de lucro y empresas con vocación social alrededor del mundo. Cada semestre, equipos interdisciplinarios de estudiantes trabajan de cerca con un socio para desarrollar soluciones técnicas que respondan a desafíos del mundo real. Nuestro objetivo no es solo construir tecnología con impacto, sino también dar a nuestros integrantes experiencia práctica aplicando ingeniería de software, IA y pensamiento de producto a problemas significativos de impacto social.

¿Nos pueden contar por qué eligieron a HOT para su proyecto? ¿Qué les interesó?

Elegimos al Equipo Humanitario de OpenStreetMap (HOT) por su misión de hacer que los datos geoespaciales sean más accesibles para la respuesta humanitaria y el desarrollo comunitario. La oportunidad de contribuir a un proyecto de código abierto con impacto en el mundo real nos entusiasmó mucho.

Las imágenes a nivel de calle son una fuente de información rica pero subutilizada, y vimos la oportunidad de usar los avances recientes en IA para ayudar a extraer información útil de forma más eficiente y reducir la cantidad de revisión manual de imágenes, sin dejar de involucrar a personas en el proceso de toma de decisiones.

¿Por qué puede ser útil el análisis de imágenes a nivel de calle?

Las imágenes a nivel de calle aportan detalles que, en muchos casos, son difíciles o imposibles de distinguir usando únicamente imágenes satelitales. Pueden brindar información sobre el estado de las vías, accesibilidad, características de edificaciones, señalización, infraestructura y otros elementos del entorno que son muy valiosos para el mapeo y los esfuerzos de respuesta humanitaria ante desastres.

Lo que logramos usando modelos de lenguaje de gran escala

El equipo de Modelos de Visión y Lenguaje (VLM, por sus siglas en inglés), liderado por Shayla He, diseñó y evaluó un flujo de trabajo de IA de extremo a extremo para generar automáticamente etiquetas de superficie vial en OpenStreetMap (OSM) a partir de imágenes a nivel de calle.

En lugar de depender únicamente de la detección tradicional de objetos, el equipo comparó varios modelos base multimodales, entre ellos Qwen2.5-VL 7B, LLaVA 7B y GPT-4o-mini, evaluando precisión, latencia, tasa de alucinación, costo, requisitos de hardware y privacidad de datos. La evaluación abarcó más de 100 imágenes de más de 35 países en 5 continentes, incluyendo escenarios del Sur Global, tomas nocturnas y condiciones viales ambiguas.

Qwen2.5-VL 7B fue seleccionado como la recomendación principal, ya que puede ejecutarse de forma local mientras ofrece el mejor desempeño general.

Más allá de la selección del modelo, el equipo diseñó un flujo de inferencia estructurado para que los resultados del VLM fueran suficientemente confiables para el mapeo humanitario:

1. Filtro de calidad previo a la inferencia: filtros de brillo y de desenfoque laplaciano descartaron aproximadamente el 11% de las imágenes de baja calidad antes de la inferencia, reduciendo costos innecesarios de GPU/API.
2. Interpretación de resultados estructurados: el VLM generó clasificaciones estandarizadas de superficie vial, procesadas en un esquema JSON estructurado con validación de respaldo.
3. Enrutamiento basado en nivel de confianza:
   • Superior a 0.75: aprobado automáticamente para OSM
   • 0.50–0.75: se escala para revisión humana
   • Inferior a 0.50: se descarta

1. Protección contra alucinaciones: el modelo primero verificaba que efectivamente hubiera una vía presente antes de clasificar, evitando etiquetas falsas en imágenes que no correspondían a vías (paisajes naturales, interiores de edificios, imágenes satelitales).

Esta arquitectura con supervisión humana en el proceso (human-in-the-loop) redujo las anotaciones erróneas sin dejar de aprovechar la automatización en los casos de alta confianza. Al combinar el filtrado de calidad, los resultados estructurados, la calibración de confianza y la revisión humana, el equipo entregó un flujo de trabajo escalable que convierte imágenes no estructuradas de Panoramax en etiquetas estandarizadas de OSM aptas para el mapeo humanitario a gran escala.

¿Qué logramos usando visión por computadora?

El equipo de visión por computadora, liderado por Aniket Gupta, se enfocó en un enfoque más tradicional de detección de objetos para imágenes a nivel de calle: identificar postes y torres eléctricas para apoyar el mapeo de infraestructura energética. Dado que estos elementos suelen ser visibles desde la calle pero no siempre son fáciles de extraer únicamente de imágenes satelitales, el equipo quiso poner a prueba hasta dónde podía llegar un flujo de visión por computadora ligero al convertir imágenes sin procesar de Panoramax en señales útiles para el mapeo.

Gran parte del trabajo consistió en construir el conjunto de datos desde cero. El equipo etiquetó manualmente un conjunto de 5,000 imágenes de Panoramax, que incluye 1,777 imágenes con postes, 1,075 imágenes con torres y 2,148 ejemplos negativos en los que no aparecía ni poste ni torre. Se dibujaron cuadros delimitadores alrededor de postes y torres usando Roboflow para generar archivos de anotación tipo YOLO, y se obtuvieron imágenes adicionales a través de la API de Mapillary para dar mayor variedad al conjunto de datos.

Una vez preparado el conjunto de datos, el equipo ajustó modelos YOLOv8 para detectar postes y torres en imágenes a nivel de calle. La primera configuración de entrenamiento usó una GPU T4 de Google Colab, una división de 70/20/10 entre entrenamiento, prueba y validación, un tamaño de lote de 16 y entradas de imagen de 512×512. El modelo fue lo bastante rápido para procesar grandes lotes de imágenes, y los primeros resultados mostraron que la detección de torres funcionaba especialmente bien, mientras que la detección de postes resultó más difícil, ya que suelen ser más delgados, más pequeños y más fáciles de confundir con árboles, cables, señales u otros objetos del fondo.

El modelo con mejor desempeño, YOLOv8s, se entrenó durante 50 épocas con aumentos de rotación y redimensionamiento, alcanzando un mAP50 general de aproximadamente 0.678. En el conjunto de prueba, el modelo alcanzó un mAP50 general de 0.721, con la detección de torres como la más sólida, con 0.87 mAP50, mientras que la detección de postes llegó a 0.572 mAP50. La matriz de confusión reflejó el mismo patrón: las torres se detectaban de forma más confiable, mientras que muchos postes seguían pasando desapercibidos o se confundían con el fondo.

Aunque el modelo no fue perfecto, dio una idea clara de lo que la visión por computadora ya puede hacer bien para el mapeo humanitario y de dónde hace falta más trabajo. La conclusión más importante fue que la detección de objetos puede ayudar a reducir la revisión manual al señalar rápidamente posibles elementos de infraestructura, pero aún requiere un diseño cuidadoso del conjunto de datos, revisión humana y mejoras específicas para casos difíciles, como postes ocultos, escenas de calle saturadas, sombras, árboles y estructuras de servicios públicos. Como parte de la entrega, se prevé que los pesos del modelo y el conjunto de datos compilado por el equipo se publiquen como código abierto y estén disponibles públicamente, para que HOT y la comunidad de mapeo en general puedan reutilizar, evaluar y continuar este trabajo más allá de este semestre.

¿Qué fue lo que más disfrutaron de colaborar con HOT?

Una de las partes más gratificantes fue trabajar con una organización con una misión tan sólida en torno al código abierto y lo humanitario. El equipo de HOT nos dio mucha libertad para explorar distintos enfoques técnicos, además de ayudarnos a comprender las necesidades prácticas de la comunidad de mapeo. Fue muy valioso recibir retroalimentación a lo largo del proyecto y ver cómo nuestro trabajo técnico se conectaba directamente con usuarios reales y aplicaciones del mundo real.

¿Qué sigue para ustedes? ¿Qué consejo le darían a otros estudiantes?

Todos planeamos seguir explorando la IA, el aprendizaje automático y la ingeniería de software, especialmente en áreas donde la tecnología puede generar impacto social.

Este proyecto nos mostró cómo la investigación y la colaboración en código abierto pueden traducirse en herramientas prácticas que benefician a comunidades alrededor del mundo. Nuestro consejo para otros estudiantes es que no se dejen intimidar por los proyectos de código abierto.

No necesitan saberlo todo antes de contribuir. Encuentren una misión que les importe, mantengan la curiosidad, hagan preguntas y estén dispuestos a aprender de la comunidad. Hemos comprobado que los proyectos de código abierto ofrecen una gran oportunidad para desarrollar habilidades técnicas y, al mismo tiempo, crear algo con un impacto duradero más allá del salón de clases.

¿Listos para empezar?

Espero que hayan disfrutado esta tercera edición de Historias de colaboradores de código abierto de HOT. ¿Quizás inspiró a su organización estudiantil a contribuir al código abierto?