Compartir comentarios
Las respuestas se generan en base a la documentación.

Usar contenedores para el desarrollo de IA generativa

Tabla de contenidos

Requisitos previos

Completa Contenedorizar una aplicación de IA generativa.

Descripción general

En esta sección, aprenderás cómo configurar un entorno de desarrollo para acceder a todos los servicios que necesita tu aplicación de inteligencia artificial generativa (GenAI). Esto incluye:

  • Agregar una base de datos local
  • Agregar un servicio de LLM local o remoto
Note

Puedes ver más ejemplos de aplicaciones de GenAI contenedorizadas en las aplicaciones de demostración de GenAI Stack.

Agregar una base de datos local

Puedes utilizar contenedores para configurar servicios locales, como una base de datos. En esta sección, actualizarás el archivo compose.yaml para definir un servicio de base de datos. Además, especificarás un archivo de variables de entorno para cargar la información de conexión de la base de datos en lugar de tener que introducirla manualmente cada vez.

Para ejecutar el servicio de base de datos:

  1. En el directorio del repositorio clonado, cambia el nombre del archivo env.example a .env. Este archivo contiene las variables de entorno que utilizarán los contenedores.

  2. En el directorio del repositorio clonado, abre el archivo compose.yaml en un IDE o editor de texto.

  3. En el archivo compose.yaml, agrega lo siguiente:

    • Agrega instrucciones para ejecutar una base de datos Neo4j
    • Especifica el archivo de entorno en el servicio del servidor para pasar las variables de entorno para la conexión

    A continuación se muestra el archivo compose.yaml actualizado. Se han eliminado todos los comentarios.

    services:
  server:
    build:
      context: .
    ports:
      - 8000:8000
    env_file:
      - .env
    depends_on:
      database:
        condition: service_healthy
  database:
    image: neo4j:5.11
    ports:
      - "7474:7474"
      - "7687:7687"
    environment:
      - NEO4J_AUTH=${NEO4J_USERNAME}/${NEO4J_PASSWORD}
    healthcheck:
      test: ["CMD-SHELL", "wget --no-verbose --tries=1 --spider localhost:7474 || exit 1"]
      interval: 5s
      timeout: 3s
      retries: 5
    Note

    Para obtener más información sobre Neo4j, consulta la imagen oficial de Docker para Neo4j.

  4. Ejecuta la aplicación. Dentro del directorio docker-genai-sample, ejecuta el siguiente comando en una terminal.

    $ docker compose up --build

  5. Accede a la aplicación. Abre un navegador y visualiza la aplicación en http://localhost:8000. Deberías ver una aplicación básica de Streamlit. Ten en cuenta que hacer preguntas a un PDF provocará que la aplicación falle porque el servicio de LLM especificado en el archivo .env aún no se está ejecutando.

  6. Detén la aplicación. En la terminal, presiona ctrl+c para detener la aplicación.

Agregar un servicio de LLM local o remoto

La aplicación de muestra es compatible tanto con Ollama como con OpenAI. Esta guía proporciona instrucciones para los siguientes escenarios:

  • Ejecutar Ollama en un contenedor
  • Ejecutar Ollama fuera de un contenedor
  • Usar OpenAI

Aunque todas las plataformas pueden utilizar cualquiera de los escenarios anteriores, el rendimiento y el soporte de GPU pueden variar. Puedes utilizar las siguientes pautas para ayudarte a elegir la opción adecuada:

  • Ejecuta Ollama en un contenedor si estás en Linux (usando una instalación nativa de Docker Engine) o Windows 10/11 (usando Docker Desktop), tienes una GPU compatible con CUDA y tu sistema tiene al menos 8 GB de RAM.
  • Ejecuta Ollama fuera de un contenedor si estás en una Mac con arquitectura Apple silicon.
  • Utiliza OpenAI si los dos escenarios anteriores no se aplican en tu caso.

Elige una de las siguientes opciones para tu servicio de LLM.

Al ejecutar Ollama en un contenedor, debes tener una GPU compatible con CUDA. Aunque puedes ejecutar Ollama en un contenedor sin una GPU compatible, es posible que el rendimiento no sea el adecuado. Solo Linux y Windows 11 admiten el acceso de GPU a los contenedores.

Para ejecutar Ollama en un contenedor y proporcionar acceso a la GPU:

  1. Instala los requisitos previos.

  2. Agrega el servicio de Ollama y un volumen en tu compose.yaml. A continuación se muestra el compose.yaml actualizado:

    services:
  server:
    build:
      context: .
    ports:
      - 8000:8000
    env_file:
      - .env
    depends_on:
      database:
        condition: service_healthy
  database:
    image: neo4j:5.11
    ports:
      - "7474:7474"
      - "7687:7687"
    environment:
      - NEO4J_AUTH=${NEO4J_USERNAME}/${NEO4J_PASSWORD}
    healthcheck:
      test:
        [
          "CMD-SHELL",
          "wget --no-verbose --tries=1 --spider localhost:7474 || exit 1",
        ]
      interval: 5s
      timeout: 3s
      retries: 5
  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ollama_volume:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
volumes:
  ollama_volume:
    Note

    Para obtener más detalles sobre las instrucciones de Compose, consulta Activar el acceso a la GPU con Docker Compose.

  3. Agrega el servicio ollama-pull a tu archivo compose.yaml. Este servicio utiliza la imagen docker/genai:ollama-pull, basada en el archivo pull_model.Dockerfile de GenAI Stack. El servicio descargará automáticamente el modelo para tu contenedor de Ollama. A continuación se muestra la sección actualizada del archivo compose.yaml:

    services:
  server:
    build:
      context: .
    ports:
      - 8000:8000
    env_file:
      - .env
    depends_on:
      database:
        condition: service_healthy
      ollama-pull:
        condition: service_completed_successfully
  ollama-pull:
    image: docker/genai:ollama-pull
    env_file:
      - .env
  # ...

Para ejecutar Ollama fuera de un contenedor:

  1. Instala y ejecuta Ollama en tu máquina host.
  2. Actualiza el valor de OLLAMA_BASE_URL en tu archivo .env a http://host.docker.internal:11434.
  3. Descarga el modelo en Ollama usando el siguiente comando:
    $ ollama pull llama2
Important

El uso de OpenAI requiere una cuenta de OpenAI. OpenAI es un servicio alojado por terceros y pueden aplicarse cargos.

  1. Actualiza el valor de LLM en tu archivo .env a gpt-3.5.
  2. Descomenta y actualiza el valor de OPENAI_API_KEY en tu archivo .env con tu clave de API de OpenAI.

Ejecutar tu aplicación de GenAI

En este punto, tienes los siguientes servicios en tu archivo de Compose:

  • Servicio server para tu aplicación de GenAI principal
  • Servicio database para almacenar vectores en una base de datos Neo4j
  • (opcional) Servicio ollama para ejecutar el LLM
  • (opcional) Servicio ollama-pull para descargar automáticamente el modelo para el servicio de Ollama

Para ejecutar todos los servicios, ejecuta el siguiente comando en tu directorio docker-genai-sample:

$ docker compose up --build

Si tu archivo de Compose incluye el servicio ollama-pull, puede tardar varios minutos en descargar el modelo. El servicio ollama-pull actualizará continuamente la consola con su estado. Después de descargar el modelo, el contenedor del servicio ollama-pull se detendrá y podrás acceder a la aplicación.

Una vez que la aplicación esté en funcionamiento, abre un navegador y accede a ella en http://localhost:8000.

Sube un archivo PDF, por ejemplo la hoja de trucos de la CLI de Docker, y haz una pregunta sobre el PDF.

Dependiendo de tu sistema y del servicio de LLM que hayas elegido, puede tardar varios minutos en responder. Si estás usando Ollama y el rendimiento no es adecuado, intenta usar OpenAI.

Resumen

En esta sección, aprendiste cómo configurar un entorno de desarrollo para proporcionar acceso a todos los servicios que necesita tu aplicación de GenAI.

Información relacionada:

Siguientes pasos

Consulta más ejemplos de aplicaciones de GenAI en las aplicaciones de demostración de GenAI Stack.