Ollama

La IA (Inteligencia Artificial) publicada por servicios como Chat-GPT, Grok, Gemini y otros, ya hace parte de la interacción humana en actividades desde su lanzamiento a finales de 2022. Con Ollama es posible usar modelos de IA (LLM) en tu máquina localmente, incluso en un servidor virtual privado (VPS) para tener tu propio servicio, todo depende de la capacidad de tu recurso de computo para soportar algunos modelos.

Esta es una guía esencial para probar algunos modelos pequeños, combinando Ollama con Open WebUI para obtener una interfaz de chat de IA en tu computador.

Instalación de Ollama

Para instalar la CLI (Command Line Interface) de Ollama debemos descargar el instalador del sitio oficial.

Si se desea instalar Ollama para Linux Ubuntu (o similar), puedes ejecutar la siguiente sentencia desde una terminal:

curl -fsSL https://ollama.com/install.sh | sh

Si tu sistema es Windows abre PowerShell y ejecuta: irm https://ollama.com/install.ps1 | iex

Probando un modelo localmente con Ollama

Luego de tener instalado Ollama y su servicio, podemos ejecutar deste una terminal, por ejemplo:

ollama run carstenuhlig/omnicoder-9b

ollama list muestra la lista de modelos disponibles, mientras ollama rm ... permite borrar un modelo.
Si usas OpenCode podrías ejecutar: ollama launch opencode --model carstenuhlig/omnicoder-9b

Para cerrar el modo de interacción con Ollama escribes /bye. De este modo, puedes descargar y probar otros modelos. Por ejemplo, para asuntos médicos:

ollama run MedAIBase/MedGemma1.5:4b

Alternativamente existe alibayram/medgemma con 4b y 27b de parámetros.

O bien, si requieres uso de traducción de idiomas, usa:

ollama run translategemma

Por defecto viene con 4b de parámetros y tiene version mayor de 12b y 27b de parámetros.

Modelos para codificar en máquina con buen recurso

Para apoyar la escritura de código de programación tendríamos modelos pequeños que hacen posible su funcionamiento con ciertos recursos de computo, por ejemplo, entre 16GB y 64GB de RAM (dependiendo de los parámetros).

En principio, cuando se habla de parámetros (normalmente en billones) se podría decir que es la capacidad de información preparada con la que cuenta la IA, eso no lo dice todo, pues el algoritmo de aprendizaje también cuenta, es decir, el modelo como tal.

Otro dato interesante es la ventana de contexto, la cual indica la capacidad de retener en memoria el hilo de conversación o de información suministrada (normalmente en miles).

Lo mejor en esta vía sería crear una cuenta de Ollama, hacer login y ejecutar uno de los modelos disponibles en la nube. Por ejemplo:

ollama launch opencode --model minimax-m2.7:cloud

Para dar una idea sobre asistencia en codificación local, si cuentas con un macOS con chip M2+ de al menos 24GB de RAM, puedes usar modelos como: qwen3.5:2b, nemotron-cascade-2, nemotron-3-nano:4b, gpt-oss:20b, carstenuhlig/omnicoder-9b, lfm2:24b, trinity-mini:26b (incluso, aunque muy ajustado o lento, glm-4.7-flash y mistral-small4)

Si usas OpenCode, para lograr velocidad y respuesta apropiada, puedes ejecutar: ollama launch opencode --model qwen3.5:2b (o nemotron-cascade-2)

A continuación listo varios modelos locales que he probado con Ollama.

Modelo	Parámetros	Anotación
lfm2.5-thinking	1.2b	Bueno para ser miniatura y puede funcionar con 16GB de RAM disponibles y/o GPU. Ventana de contexto de 125k. Arroja respuestas bien cortas
jan-v1	4b	Sobresaliente para ser tan pequeño y puede funcionar con 16GB de RAM disponibles con GPU.
gemma3n	4b	Bueno para ser tan pequeño, multimodal y puede funcionar con 16GB de RAM disponibles sin GPU. Ventana de contexto corta de 32k y No soporta "tools"
starcoder2	3b	Ligero pero útil para codificar con 16GB de RAM disponibles y/o GPU
starcoder2	15b	Funcional para codificar con 32GB de RAM disponibles y/o GPU
Seed-Coder-8B-Base	8b	Bueno y puede ser funcional en máquina de al menos 16GB de RAM con GPU
llama3.2	3b	Ligero pero útil para operar con 16GB de RAM disponibles y/o GPU. Existe versión más ligera de 1b. Ventana de contexto de 128k
llama3.1	8b	Funcional en máquina con al menos 16GB de RAM disponibles y/o GPU. Existe versión mayor de 70b. Ventana de contexto de 128k
deepseek-r1	8b	Bueno y puede ser funcional en máquina de al menos 16GB de RAM con GPU. Ventana de contexto de 128k
deepseek-r1	14b	Bueno y puede ser funcional en máquina con al menos 32GB de RAM y/o GPU. Ventana de contexto de 128k
gpt-oss	20b	Bueno y funcional en máquina con al menos 32GB de RAM y/o GPU. Ventana de contexto de 128k
phi4-mini-reasoning	3.8b	Funcional pero lento para operar con 16GB de RAM disponibles y/o GPU. Existe versión ligera, sin razonamiento, denominada phi4-mini
phi4-reasoning:plus	14b	Funcional pero lento para operar con 32GB de RAM disponibles y/o GPU. Existe versión sin razonamiento denominada phi4
omnicoder-9b	9b	Sobresaliente, multimodal y puede funcionar con 16GB de RAM disponibles y/o GPU. Ventana de contexto de 256k/128k. Basado en qwen3.5 pero afinado
deepcoder	14b	Apropiado y funcional en máquina con al menos 32GB de RAM y/o GPU. Existe versión ligera de 1.5b. Ventana de contexto de 128k
MiMo-VL-7B-RL	7b	Bueno y puede llegar a correr en máquina con al menos 16GB de RAM y/o GPU. Ventana de contexto de 125k. Existe versión alibayram/mimo-7b-rl que incluye "tools"
qwen3.5	9b	Sobresaliente para entorno local en máquina con al menos 32GB de RAM y/o GPU. Existe versión más ligera de 2b y 4b. Ventana de contexto de 256k/128k
qwen2.5-coder	14b	Bueno y puede ser funcional en máquina de mas de 32GB de RAM (ejemplo: 48GB) y/o GPU. Existe versión ligera de 1.5b, incluso 3b y 7b. Ventana de contexto corta de 32k y No soporta "tools"
qwen3-coder-next	80b/3b	Bueno y puede ser funcional en máquina de mas de 48GB de RAM y/o GPU. Ventana de contexto de 256k
lfm2	24b	Eficiente en máquina con al menos 24GB de RAM y/o GPU. Ventana de contexto corta de 32k
devstral-small-2	24b	Sobresaliente para entorno local, solo que requiere máquina con mas de 32GB de RAM (ejemplo: 48GB) y/o GPU. Ventana de contexto de 384k
gemma4	4b	Sobressaliente en máquina con mas de 16GB de RAM (ejemplo: 24GB) y/o GPU. Ventana de contexto de 128k
gemma4	26b	Sobresaliente para entorno local con al menos 32GB de RAM y/o GPU (mejor: 48GB). Ventana de contexto de 256k
qwen3	30b	Bueno para entorno local en máquina con al menos 32GB de RAM y/o GPU. Ventana de contexto de 40k
nemotron-cascade-2	30b	Sobresaliente para entorno local, requiere máquina con al menos 32GB de RAM y/o GPU. Ventana de contexto de 256k
nemotron-3-nano	30b	Apropiado y funcional en máquina con al menos 32GB de RAM y/o GPU. Existe versión ligera de 4b. Ventana de contexto de 1M/256K
glm-4.7-flash	30b	Sobresaliente en máquina con al menos 48GB de RAM y/o GPU. Ventana de contexto de 198K

Esta es simplemente una referencia usando un PC con ciertos recursos (ej. 64GB RAM), por lo que puede variar.
No se usó un modelo de 70b de parámetros aunque sé que llama3.3 puede requerir 128GB de RAM (o 96GB con una muy buena GPU).

Instalando Open WebUI para interfaz de Chat

Para obtener un Chat que use los modelos configurados con Ollama, podemos usar un contenedor como el siguiente:

docker run -d -p 3030:8080 \
    -v /usr/share/ollama/.ollama:/root/.ollama \
    -v open-webui:/app/backend/data \
    --name open-webui \
    --restart always \
    ghcr.io/open-webui/open-webui:ollama

Si estamos hablando de Linux Ubuntu/Debian es posible que requieras agregar al inicio sudo (salvo que configures el grupo docker para tu usuario)