Tal como relatamos en una oportunidad pasada, ChatGPT es un modelo de lenguaje desarrollado por OpenAI que tiene la capacidad de redactar, escribir código y conversar con usuarios humanos de manera creíble y precisa. En su breve existencia, ChatGPT ha demostrado ser una poderosa herramienta que tiene el potencial de repercutir en muchos campos tanto de manera positiva como negativa. Sea como sea, a esta IA ya le ha salido competencia (al menos en teoría) y se trata de PaLM + RLHF, un modelo de generación de texto desarrollado por Philip Wang que destaca por ser de código abierto.
Éste combina PaLM, un gran modelo de lenguaje de Google, con aprendizaje reforzado con retroalimentación humana (RLHF). En este sentido, PaLM está entrenado con un gran conjunto de datos de alta calidad, dónde se cuentan libros, documentos y código de Github, así que el proyecto parte desde una base sólida.
En teoría es capaz de hacer lo mismo que ChatGPT, así como de investigar por su cuenta, pero con la ventaja de contar con la tecnología necesaria para tener una retroalimentación humana que mejorará los modelos de lenguajes a niveles sin precedentes.
PaLM + RLHF no estará listo por lo pronto
No obstante, PaLM + RLHF tiene un gran talón de Aquiles y es que todavía no está entrenado… Lo que significa que requiere de muchos recursos y poder computacional para ponerse en funcionamiento. Entrando en detalles, su creador admite que necesita una PC dedicada con alrededor de ocho GPUs Nvidia A100 para funcionar.
Para ponerlo en contexto, una sola de esas GPUs está valorada en más de 10.000 dólares y entrenar un modelo de IA con alrededor de 1.500 millones de parámetros como ChatGPT cuesta alrededor de 1,6 millones de dólares, o al menos eso es lo que estiman los expertos.
Por ende, no esperen ver a PaLM + RLHF disponible por lo pronto, pues aún requiere de una financiación millonaria para ponerse a andar y poder competir con ChatGPT.
En otro orden de ideas, aquí está el repositorio de Github para los interesados en echarle un vistazo al proyecto.
Vía | TechCrunch
