Ivo Everts, Databricks: Impulsando la IA de código abierto y mejorando la gobernanza de datos

Antes de la Exposición Europea de Inteligencia Artificial y Big Data, AI News entrevista a Ivo Everts, arquitecto senior de soluciones bloque de datosanaliza varios desarrollos clave que darán forma al futuro de la IA de código abierto y la gobernanza de datos.

Uno de los logros notables de Databricks es el modelo DBRX, que establece un nuevo estándar para modelos de lenguajes grandes (LLM) abiertos.

"DBRX supera a todos los demás modelos líderes de IA de código abierto en puntos de referencia estándar e infiere hasta 2 veces más rápido que modelos como Llama2-70B", explica Everts. “Es más eficiente en la formación debido a varios avances tecnológicos.

"Desde una perspectiva de calidad, creemos que DBRX es el mejor modelo de código abierto que existe, y cuando decimos 'mejor' nos referimos a una amplia gama de puntos de referencia de la industria que incluyen comprensión del lenguaje (MMLU), programación (HumanEval) y matemáticas (GSM8K)". .

El modelo de IA de código abierto tiene como objetivo "democratizar la formación de LL.M. personalizados más allá de un puñado de proveedores de modelos y mostrar a las organizaciones que pueden aprovechar sus datos de forma rentable para formar LL.M. de clase mundial".

Han Heloir, MongoDB: El papel de las bases de datos escalables en aplicaciones de inteligencia artificial

En línea con su compromiso con un ecosistema abierto, Databricks también ofrece código abierto. directorio unificado.

"El Unity Catalog de código abierto mejora su adopción en plataformas en la nube (por ejemplo, AWS, Azure) y en la infraestructura local", señaló Everts. "Esta flexibilidad permite a las organizaciones aplicar políticas de gobernanza de datos de manera uniforme, independientemente de dónde se almacenen o procesen los datos".

Unity Catalog aborda los desafíos de la dispersión de datos y el control de acceso inconsistente a través de una variedad de características:

1. Gestión centralizada del acceso a datos: "Unity Catalog centraliza la gestión de los activos de datos, lo que permite a las organizaciones gestionar el control de acceso de forma unificada", afirmó Everts.
2. Control de acceso basado en roles (RBAC): Según Everts, Unity Catalog "implementa control de acceso basado en roles (RBAC), lo que permite a las organizaciones asignar roles y permisos según los perfiles de usuario".
3. Linaje de datos y auditoría: Esta característica "ayuda a las organizaciones a monitorear el uso y las dependencias de los datos, facilitando la identificación y eliminación de datos redundantes u obsoletos", explicó Everts. Añadió que también "registra todos los accesos y cambios a los datos, proporcionando un seguimiento de auditoría detallado para garantizar el cumplimiento de las políticas de seguridad de los datos".
4. Soporte híbrido y entre nubes: Everts señaló que Unity Catalog está "diseñado para gestionar el gobierno de datos en entornos híbridos y de múltiples nubes" y "garantizar que los datos se gobiernen de manera uniforme, independientemente de dónde residan".

La empresa lanzó Databricks Inteligencia Artificial/Inteligencia de Negociosun nuevo producto de inteligencia empresarial que aprovecha la inteligencia artificial generativa para mejorar la exploración y visualización de datos. Everts cree que "las soluciones de BI verdaderamente inteligentes deben comprender la semántica y los matices únicos del negocio para poder responder de manera efectiva a las preguntas de los usuarios comerciales".

Los sistemas AI/BI incluyen dos componentes clave:

Cómo la ciencia de datos fría y dura aprovecha la inteligencia artificial por Wolfram Research

1. Panel: Everts lo describe como "una interfaz de bajo código impulsada por IA para crear y distribuir paneles de control interactivos y rápidos". Incluye "capacidades de BI estándar como visualización, filtrado cruzado e informes programados sin la necesidad de servicios de gestión adicionales".
2. Duende: Everts explicó esto como una "interfaz conversacional que resuelve preguntas ad hoc y de seguimiento a través del lenguaje natural". Añadió que "aprende de los datos subyacentes para generar visualizaciones adaptativas y recomendaciones en respuesta a las consultas de los usuarios, a través de comentarios a lo largo del tiempo". y proporcionar a los analistas las herramientas para mejorar su producción”.

Everts dijo que Databricks AI/BI está diseñado para proporcionar "una comprensión profunda de la semántica de los datos, permitiendo el análisis de datos de autoservicio para todos en la organización". Señaló que está impulsado por "un sistema compuesto de inteligencia artificial que extrae datos continuamente del sistema". organización Aprenda a utilizar toda la pila de datos, incluidos los canales de ETL, el linaje y otras consultas”.

Databricks también hace acto de presencia Inteligencia artificial mosaicoEverts la describe como "una plataforma integral para crear, implementar y gestionar aplicaciones de aprendizaje automático y IA generativa, integrando datos empresariales para mejorar el rendimiento y la gobernanza".

Mosaic AI proporciona varios componentes clave, que Everts describe:

1. Herramientas unificadas: Proporciona "herramientas para crear, implementar, evaluar y gestionar soluciones de inteligencia artificial y aprendizaje automático, respaldar modelos predictivos y generar aplicaciones de inteligencia artificial".
2. Modelo de inteligencia artificial generativa: "Admite ingeniería justo a tiempo, generación de aumento de recuperación (RAG), ajuste fino y capacitación previa, brindando flexibilidad a medida que evolucionan las necesidades comerciales".
3. Gestión centralizada de modelos: "Model Service permite la implementación, la gobernanza y la consulta centralizadas de modelos de IA, incluidos modelos base y modelos de aprendizaje automático personalizados".
4. Monitoreo y Gobernanza: "Lakehouse Monitoring y Unity Catalog garantizan un seguimiento, una gobernanza y un seguimiento del linaje integrales durante todo el ciclo de vida de la IA".
5. Máster en Derecho a medida y rentable: "La capacidad de personalizar grandes modelos de lenguaje y adaptarlos a dominios organizacionales específicos con costos de capacitación y servicios significativamente reducidos".

Everts enfatizó que el enfoque de Mosaic AI para ajustar y personalizar los modelos base incluye características únicas como "tiempos de inicio rápidos" al "aprovechar un caché de modelo base en el clúster", "evaluación rápida en tiempo real" y los usuarios pueden "rastrear el la respuesta del modelo a lo largo de todo el proceso. ¿Cómo cambia? Proceso de capacitación" y soporte para "Puntos de control personalizados previos a la capacitación".

En el centro de estas innovaciones se encuentra la Plataforma de inteligencia de datosEverts dijo: "Transformar la gestión de datos mediante el uso de modelos de inteligencia artificial para comprender en profundidad la semántica de los datos empresariales. La plataforma combina las capacidades de los lagos de datos y los almacenes de datos, aprovechando la tecnología Delta Lake para el procesamiento de datos en tiempo real y combinándola con Delta". compartir para lograr un intercambio seguro de datos a través de los límites organizacionales.

Everts explicó que las plataformas de inteligencia de datos desempeñan un papel fundamental a la hora de respaldar nuevas iniciativas de inteligencia artificial y de intercambio de datos al proporcionar las siguientes capacidades:

1. Plataforma unificada de datos e inteligencia artificial "Combinando las capacidades de los lagos y almacenes de datos en una única arquitectura".
2. Delta Lake para procesamiento de datos en tiempo realgarantizando "gobernanza de datos confiable, transacciones ACID y procesamiento de datos en tiempo real".
3. Colaboración e intercambio de datos A través de Delta Sharing, se logra "el intercambio de datos abierto y seguro a través de los límites organizacionales".
4. Soporte integrado para el aprendizaje automático y el desarrollo de modelos de inteligencia artificial. Utilice bibliotecas populares como MLflow, PyTorch y TensorFlow.
5. Escalabilidad y rendimiento A través de su arquitectura nativa de la nube y su motor Photon ("motor de ejecución de consultas optimizado").

como patrocinador principal Exposición Europea de Inteligencia Artificial y Big DataDatabricks planea exhibir sus soluciones de gobierno de datos e inteligencia artificial de código abierto durante el evento.

"En nuestro stand, también demostraremos cómo utilizar la aplicación Lakehouse para crear e implementar aplicaciones GenAI personalizadas desde cero utilizando el modelo de código abierto de Hugging Face y los datos del Unity Catalog", dijo Everts.

"Con nuestra aplicación GenAI, puedes generar tus propias imágenes de dibujos animados, todas ejecutándose en una plataforma de inteligencia de datos".

bloque de datos compartirán más de su experiencia en la conferencia de este año Exposición Europea de Inteligencia Artificial y Big Data. Visite el stand n.º 280 de Databricks para obtener más información sobre la IA abierta y la mejora de la gobernanza de datos.

Explore otros próximos eventos y seminarios web de tecnología empresarial impulsados ​​por TechForge aquí.

Etiqueta: ai, ai expo, inteligencia artificial, plataforma de inteligencia de datos, databricks, dbrx, ivo Everts, modelo de lenguaje grande, llm, mosaico ai, código abierto, código abierto, directorio unificado