Google AI ha lanzado a Incrustdinggemma, un nuevo modelo de incrustación en el dispositivo que cuenta con 308 millones de parámetros. Según Google, su tamaño compacto le permite funcionar de manera efectiva en dispositivos móviles y en la configuración fuera de línea. El modelo logra la latencia de inferencia de menos de 15M para 256 tokens en EdgetPu, lo que lo hace adecuado para aplicaciones en tiempo real. Entrenado en datos que abarcan más de 100 idiomas, Ingreddinggemma aseguró la posición superior en el texto masivo de referencia de incrustación (MTEB) entre modelos con menos de 500 millones de parámetros. Google informa que su rendimiento rivaliza o supera que la incrustación de modelos casi el doble de su tamaño, especialmente en las tareas de búsqueda de recuperación interlingüística y semántica. Hay más información disponible a través de los enlaces proporcionados a un análisis completo, el modelo sobre la cara de abrazo y los detalles técnicos.
Source: Google AI lanza el modelo de incrustación en el dispositivo
