Nvidia lanza Chat con RTX

Claro, aquí tienes una versión del texto con algunas modificaciones para mejorar el SEO y reducir la longitud de las frases:

«Nvidia ha lanzado un nuevo invento que, como era de esperar, hace uso de la inteligencia artificial (IA). Se trata de Chat con RTX, un chatbot de IA personalizado para PC cuya primera versión ya está disponible para su descarga.

Los requisitos son Windows 11, 16 GB de RAM y una GeForce RTX de la serie 30 o 40 con al menos 8 GB de VRAM.

“Chat con RTX es una aplicación de demostración que te permite personalizar un modelo de lenguaje de gran tamaño (LLM) GPT conectado a tu propio contenido: documentos, notas, vídeos u otros datos”, explica Nvidia.

“Al aprovechar la generación aumentada por recuperación (RAG), TensorRT-LLM y la aceleración RTX, puedes consultar un chatbot personalizado para obtener respuestas contextualmente relevantes con rapidez. Todo se ejecuta localmente en tu PC o estación de trabajo Windows RTX, lo que garantiza resultados rápidos y seguros”.

Para entender mejor qué es Chat con RTX, nada mejor que un vídeo. En él, el usuario selecciona uno de los dos modelos de IA disponibles (Mistral y Llama), añade la ruta de los datos y escribe al chatbot una pregunta cuya respuesta se encuentra en la documentación indicada.

El chatbot responde y además lista los archivos exactos donde se encuentra la información. También se le pueden indicar direcciones de YouTube para que descargue el vídeo y preguntarle sobre su contenido.

Chat con RTX funciona localmente haciendo uso de los núcleos Tensor de las tarjetas gráficas RTX para acelerar su trabajo, asegurando así que los datos nunca abandonen el ordenador y los resultados se muestren muy rápido.

Esta herramienta es especialmente útil para buscar información o resumir el contenido de una gran cantidad de documentos (incluyendo PDF).

Hay que tener en cuenta que se trata de una demostración que puede dar problemas o resultados erróneos y cuya interfaz es muy básica. Por ahora, Chat con RTX parece más una herramienta destinada a los entusiastas y no tanto al público general.

En cualquier caso, es una opción que los usuarios de GeForce deben considerar si desean tener un chatbot de IA local sin tener que pagar una suscripción.

Requerimientos del Sistema

PlatformWindows
GPUNVIDIA GeForce™ RTX 30 or 40 Series GPU or NVIDIA RTX™ Ampere or Ada Generation GPU with at least 8GB of VRAM
RAM16GB or greater
OSWindows 11
Driver535.11 or later
File Size35 GB

Chat para Desarrolladores

La demo tecnológica Chat with RTX está construida a partir del proyecto de referencia para desarrolladores TensorRT-LLM RAG disponible en GitHub.

Los desarrolladores pueden utilizar esa referencia para desarrollar y desplegar sus propias aplicaciones basadas en RAG para RTX, aceleradas por TensorRT-LLM.»