Finetuning de Llama para la Salud. Revolucionando la Medicina
How Llama is helping Saama deliver new possibilities in data-driven care
OpenBioLLM, una serie de modelos de Llama ajustados de la empresa de ciencias de la vida Saama, agiliza las tareas que pueden acelerar los ensayos clínicos y potencialmente crear nuevas posibilidades en la medicina personalizada. Estos modelos generan protocolos de ensayos clínicos, informes de estudios clínicos y otros documentos necesarios para acelerar la generación de protocolos y el análisis de datos, lo que permite que los tratamientos que pueden salvar vidas lleguen antes a los pacientes. También mejoran la precisión del diagnóstico y la planificación del tratamiento a través del procesamiento eficiente de la información, lo que ofrece a los médicos y pacientes información respaldada por datos para ayudarlos a tomar decisiones sobre la atención.
“Como modelo de código abierto, OpenBioLLM es accesible para investigadores y proveedores de atención médica en todo el mundo, y el impacto en el mundo real ha sido significativo”, dice Malaikannan Sankarasubbu, director de Tecnología e Inteligencia Artificial de Saama.
Los dos modelos de Saama, OpenBioLLM-8B y OpenBioLLM-70B, aprovechan la arquitectura de Llama 3 para acelerar la extracción de información de documentos de ensayos clínicos, análisis de datos, generación de protocolos clínicos y razonamiento de gráficos de conocimiento médico.
OpenBioLLM ha sido ampliamente adoptado en el desarrollo clínico en aplicaciones biomédicas y sanitarias, facilitando la investigación y el análisis, la gestión de datos y la eficiencia operativa. Los modelos pueden ayudar en el descubrimiento de fármacos y respaldar el análisis genómico. Otros investigadores se están basando en él para su propio trabajo, incluido un artículo reciente [AIRI at RRG24: LLaVa with specialised encoder and decoder] presentado en una conferencia de la Asociación de Lingüística Computacional.
“Los impactos tangibles muestran cómo la IA, específicamente los modelos basados en Llama, pueden revolucionar la atención médica y las ciencias de la vida, mejorando potencialmente los resultados de los pacientes y salvando vidas”, dice Sankarasubbu. “Nuestro compromiso con el desarrollo de código abierto nos ha permitido compartir avances con la comunidad científica en general, fomentando la colaboración y la innovación en IA biomédica. Estos modelos están allanando el camino para una atención médica altamente personalizada”.
Construir con Llama en casos de uso complejos
El uso de Llama por parte de Saama ha evolucionado significativamente, expandiéndose a casos de uso complejos como la generación de protocolos, el razonamiento de gráficos de conocimiento médico y el análisis de documentos de ensayos clínicos. El equipo desarrolló modelos especializados para diferentes temas médicos y mejoró significativamente el rendimiento en las tareas biomédicas cuando escaló sus modelos a los parámetros 8B y 70B con el lanzamiento de Llama 2 y 3. Actualmente, la compañía está explorando aplicaciones multimodales, integrando modelos basados en llamas con imágenes médicas y datos genómicos.
Para garantizar la privacidad y el cumplimiento en el entorno sanitario altamente regulado, Saama desarrolló técnicas avanzadas de desidentificación y protocolos seguros de gestión de datos para cumplir con las normativas sanitarias como la HIPAA. Los investigadores internos de IA de Saama abordan cualquier desafío que surja para garantizar que OpenBioLLM mantenga su estatus como un modelo de lenguaje biomédico de última generación. El equipo empleó rigurosos protocolos de prueba y colaboró con profesionales médicos para validar los resultados del modelo y mitigar los sesgos.
Cuando el equipo implementó Llama para aplicaciones biomédicas, se basaron en la experiencia con MedMCQA, un conjunto de datos diseñado para abordar preguntas del examen de ingreso a la medicina del mundo real. Un proceso de ajuste de dos etapas implicó varios pasos clave, incluida la selección de un conjunto de datos de instrucción médica de alta calidad y la creación de un conjunto de datos de optimización directa de preferencias (DPO) utilizando evaluaciones de expertos médicos. Como marco de ajuste, el equipo adaptó la biblioteca Hugging Face Transformers y el módulo TRL para casos de uso biomédico específicos.
“Un enfoque integral para el ajuste permitió al equipo crear modelos que sobresalen en tareas biomédicas y superan a los modelos patentados más grandes en puntos de referencia específicos”, dice Sankarasubbu. “El equipo utilizó Llama 3 como modelo base para las versiones de parámetros 8B y 70B”.
El camino del código abierto hacia el éxito
Saama abrió su laboratorio de investigación de IA en 2017, lo que permite la innovación colaborativa con desarrolladores e investigadores talentosos de todo el mundo. Sankarasubbu atribuye al código abierto un papel fundamental para el éxito de Saama.
“El código abierto está preparado para revolucionar la IA biomédica, fomentando un ecosistema más inclusivo e innovador y democratizando el acceso a tecnologías sanitarias avanzadas”, afirma Sankarasubbu
Las conexiones con universidades han ayudado a que los proyectos y documentos de código abierto de Saama sean más prácticos e impactantes. El enfoque de la empresa para el intercambio de conocimientos incluye la publicación de trabajos de investigación en conferencias de primer nivel y el código abierto de muchos proyectos de GitHub, lo que le permite contribuir y beneficiarse del grupo de conocimientos global. Los principales actores de la IA han utilizado sus contribuciones de código abierto, incluidos conjuntos de datos y puntos de referencia.
“La respuesta positiva y el aprecio que hemos recibido han reforzado nuestro compromiso con una cultura de investigación abierta”, dice Sankarasubbu. “Los enfoques colaborativos conducen a avances más rápidos, y alinear los proyectos de código abierto con las pautas médicas garantiza la innovación responsable en la IA para la atención médica”.
A medida que el ecosistema de Llama evoluciona, Saama anticipa expandir su uso en actualizaciones regulares del modelo basadas en cada nueva iteración de Llama, incluido Llama 3.1 y futuras versiones.
+ en Llama-3-Based OpenBioLLM Models Outperform Industry Giants