Instalar y usar IA local sin necesidad de conexión a Internet con Ollama. Esto agrega un nivel de seguridad mucho mayor para la interactuación de nuestra organización con cualquier motor de IA. Descargamos y probamos varios modelos de IA (deepseek-r1:8b, gpt-oss:20b y mistral:7b). Mostramos un ejemplo simple del uso del API Rest de Ollama para una aplicación Python.
- Ollama, qué es, ventajas de usar IA local.
- Descargar e instalar Ollama.
- Descargar modelo deepseek-r1 e instalar en Ollama para uso local.
- Descargar modelo gpt-oss instalar en Ollama para uso local.
- Servidor web con API Rest de Ollama para integrar con aplicaciones.
Ollama, qué es, ventajas de usar IA local
Ollama es una plataforma de IA que permite usar modelos de lenguaje directamente el equipo. Con su enfoque centrado en la privacidad y procesamiento de alta velocidad, Ollama permite interacciones de IA sin dependencia de la nube.
Ollama ofrece varias ventajas para quienes buscan implementar inteligencia artificial en sus proyectos. Algunas de las principales ventajas son:
- Privacidad: al ejecutar modelos localmente, los datos permanecen en el dispositivo, reduciendo la exposición a servidores externos y la posibilidad de riesgos de seguridad.
- Velocidad: la ejecución local elimina la latencia de conexión a la nube, lo que resulta en un rendimiento más rápido y eficiente.
- Personalización: los usuarios pueden usar modelos personalizados según sus necesidades específicas, lo que es ideal para aplicaciones de investigación o nichos en los que una solución en la nube puede no ser adecuada.
- Reducción de costes: Ollama evita gastos recurrentes en servicios de la nube, lo que puede ser especialmente beneficioso para empresas o profesionales que manejan información sensible.
- Flexibilidad: la plataforma permite a los desarrolladores e investigadores ajustar los modelos según los requisitos del proyecto, garantizando un mejor rendimiento en conjuntos de datos a medida.
Estas ventajas hacen de Ollama una opción atractiva para quienes buscan desplegar y gestionar modelos de lenguaje natural de manera local y segura.
Descargar e instalar Ollama
Desde un equipo Windows, recomendable que tenga buenas prestaciones (CPU, RAM y disco rápido), descargaremos el instalador de Ollama, desde su web oficial:
Ejecutaremos el instalador OllamaSetup.exe y pulsaremos «Install»:
Una vez instalado, se iniciará Ollama en modo visual. Podremos usar la IA local eligiendo el modelo de IA, pero por defecto Ollama no incluye todos los modelos, en el siguiente apartado explicamos cómo descargar e instalar un modelo de IA en Ollama.
Descargar modelo deepseek-r1 e instalar en Ollama para uso local
Accederemos a la web oficial de Ollama y buscaremos el modelo que queramos usar en local. En este caso, usaremos deepseek-r1, disponible en la URL:
En dicha URL nos mostrará el modelo, el comando para su instalación en local y unas características básicas: tamaño, contexto y tipo de salida. Elegiremos el modelo deepseek-r1:8b, de 5,2GB de tamaño:
Para instalarlo, desde una shell de comandos (cmd o Símbolo de sistema), en el equipo donde hayamos instalado Ollama, ejecutaremos el comando:
|
1 |
ollama run deepseek-r1:8b |
Realizará la descarga e instalación y mostrará un prompt desde el que podremos interactuar con la IA (en modo consola):
Saldremos del chat de línea de comandos escribiendo /bye.
Descargar modelo gpt-oss instalar en Ollama para uso local
En este caso, para las pruebas, descargaremos e instalaremos el modelo gpt-oss, con el comando:
|
1 |
ollama run gpt-oss:20b |
Tal y como se indica en la web oficial.
Tras la instalación, introduciremos el comando:
|
1 |
/bye |
para salir del shell y cerraremos la ventana de MS-DOS, cmd o Símbolo de sistema:
Abriremos Ollama y probaremos el modelo descargado. Para ello, en el desplegable de modelos disponibles elegiremos gpt-oss:20b y escribiremos un prompt para la IA, por ejemplo:
muéstrame una función en lenguaje de programación Delphi 12 a la que se le pase como argumento un texto y devuelva el HASH MD5. No me des explicaciones
Según el modelo elegido y según los recursos del equipo (sobre todo CPU, velocidad de lectura en disco y RAM), la respuesta puede tardar unos segundos. Dado que hemos descargado un modelo bastante grande (de 14GB y 20,9B de parámetros) y dado que el equipo es un PC normal, la respuesta tardó unos 27 segundos:
Por ello, en entornos de desarrollo y pruebas, conviene usar modelos más livianos. Un modelo más sencillo pero eficaz puede ser mistral:7b, que instalaremos con el comando:
|
1 |
ollama run mistral:7b |
Enviando el mismo prompt que anteriormente, la respuesta es casi inmediata:
Por lo tanto, deberemos estudiar qué modelo usar en cada caso, en función de varios factores:
- Recursos del servidor: CPU, RAM, velocidad de disco.
- El tipo de prompts que queramos usar, las temáticas, si es para desarrollo, para información general, para matemáticas, para ciencia, para educación, etc. Hay modelos más específicos para cada temática.
- La velocidad de respuesta: si necesitamos velocidad alta de respuesta, deberemos buscar modelos no muy pesados, en concordancia con los recursos del servidor.
Servidor web con API Rest de Ollama para integrar con aplicaciones
Ollama cuenta con un servicio web API Rest que, por defecto, tras su instalación, se inicia en el puerto 11434. Una vez instalado Ollama, si abrimos un navegador web y accedemos a la URL:
- 127.0.0.1:11434
Obtendremos este mensaje:
Ollama is running
Indicando que el servicio web API Rest de Ollama está disponible.
Este servicio nos permitirá desarrollar aplicaciones con acceso a este API Rest para interactuar con el modelo de IA de Ollama local que necesitemos. Pudiendo automatizar tareas y desarrollar aplicaciones a medida con uso de IA.
Ejemplo sencillo de uso del API Rest de Ollama para interactuar desde una aplicación Python con el modelo mistral:7b descargado anteriormente, sin conexión a Internet:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
import requests import json url = "http://localhost:11434/api/chat" payload = { "model": "mistral:7b", "messages": [ {"role": "system", "content": "Eres un desarrollador de Delphi 12."}, {"role": "user", "content": "Escribe una función que obtenga el hash de un texto pasado por argumento. No me des explicaciones, solo el código."} ] } response = requests.post(url, json=payload, stream=True) for line in response.iter_lines(): if line: data = json.loads(line) print(data.get("message", {}).get("content", ""), end="") |
Al compilar la aplicación, comprobaremos que conecta con el API Rest de Ollama y, usando el modelo de IA indicado (mistral:7b), le enviamos un prompt:
Escribe una función que obtenga el hash de un texto pasado por argumento. No me des explicaciones, solo el código.
y nos devuelve la respuesta:
