OCI 構成
podman image tree
$ podman image tree ghcr.io/danny-avila/librechat:v0.8.3
Image ID: db02d9011e1e
Tags: [ghcr.io/danny-avila/librechat:v0.8.3]
Size: 2.201GB
Image Layers
├── ID: 989e799e6349 Size: 8.724MB
├── ID: 6758d7b35d86 Size: 124MB
├── ID: 333310cf910c Size: 5.389MB
├── ID: d29cbceffa1f Size: 3.584kB
├── ID: 935b10faad71 Size: 624.1kB
├── ID: 1659844c9896 Size: 86.56MB
├── ID: 2adf2e4404c0 Size: 50.48MB
├── ID: 880e8eea9c5e Size: 1.024kB
├── ID: ab8949522823 Size: 1.536kB
├── ID: b71ecaa26171 Size: 1.024kB
├── ID: a47335e9373a Size: 1.763MB
├── ID: 4d4581101e46 Size: 6.656kB
├── ID: cbfbdba828ac Size: 8.704kB
├── ID: 999156c3e462 Size: 5.632kB
├── ID: a06c4078ab7d Size: 5.632kB
├── ID: 1cb7320dde2b Size: 8.704kB
├── ID: e81caf326165 Size: 1.857GB
├── ID: d7bc0ff01085 Size: 21.7MB
└── ID: 2cda3d91d984 Size: 44.34MB Top Layer of: [ghcr.io/danny-avila/librechat:v0.8.3]
podman image tree ghcr.io/danny-avila/librechat-rag-api-dev-lite:v0.7.2
Image ID: bbfc3176d88a
Tags: [ghcr.io/danny-avila/librechat-rag-api-dev-lite:v0.7.2]
Size: 1.628GB
Image Layers
├── ID: a257f20c716c Size: 81.04MB
├── ID: 1820c49e830a Size: 4.123MB
├── ID: 1e553be60c00 Size: 41.2MB
├── ID: a24335924e53 Size: 5.12kB
├── ID: 700e73441c4c Size: 1.536kB
├── ID: 573812830903 Size: 414.4MB
├── ID: 7458178c5deb Size: 3.072kB
├── ID: e160554a24aa Size: 1.063GB
├── ID: 14437fc54cb5 Size: 24.2MB
└── ID: 22b5883936f5 Size: 502.3kB Top Layer of: [ghcr.io/danny-avila/librechat-rag-api-dev-lite:v0.7.2]
ghcr.io/danny-avila/librechat-rag-api-dev-lite:v0.7.2 1.6GB，單層最多 1.1GB。
ghcr.io/danny-avila/librechat:v0.8.3 2.2GB，最大單層 1.86GB。稍微看了一下是 npm ci 安裝套件造成的，不過我理解的沒錯的話，主因是映像檔同時包含了前端的仰賴。
簡單對話
沒有系統提示詞：
但是有看到似乎可以修改提示詞的界面。
另外一次請求則是做總結來幫該次對話取一個標題：
上傳與嵌入文件
LibreChat 有兩種上傳方式：純文字與嵌入模式。
並且沒有實做類似知識庫的系統，只能在聊天視窗上傳：
檢索知識
它有一個 "File Search" 的功能，打開之後並沒有觸發檔案檢索：
看起來需要搭配檔案使用：
全文檢索：
直接把整個檔案變成純文字之後放進上下文：
嵌入檢索：
透過嵌入模型與向量資料檢索部份文字塊之後放入上下文：
編排與構成
以下是官方的 Docker 設定：
docker-compose.yaml
# Do not edit this file directly. Use a ‘docker-compose.override.yaml’ file if you can.
# Refer to `docker-compose.override.yaml.example’ for some sample configurations.
services:
api:
container_name: LibreChat
ports:
- "${PORT}:${PORT}"
depends_on:
- mongodb
- rag_api
image: registry.librechat.ai/danny-avila/librechat-dev:latest
restart: always
user: "${UID}:${GID}"
extra_hosts:
- "host.docker.internal:host-gateway"
environment:
- HOST=0.0.0.0
- MONGO_URI=mongodb://mongodb:27017/LibreChat
- MEILI_HOST=http://meilisearch:7700
- RAG_PORT=${RAG_PORT:-8000}
- RAG_API_URL=http://rag_api:${RAG_PORT:-8000}
volumes:
- type: bind
source: ./.env
target: /app/.env
- ./images:/app/client/public/images
- ./uploads:/app/uploads
- ./logs:/app/logs
mongodb:
container_name: chat-mongodb
image: mongo:8.0.17
restart: always
user: "${UID}:${GID}"
volumes:
- ./data-node:/data/db
command: mongod --noauth
meilisearch:
container_name: chat-meilisearch
image: getmeili/meilisearch:v1.35.1
restart: always
user: "${UID}:${GID}"
environment:
- MEILI_HOST=http://meilisearch:7700
- MEILI_NO_ANALYTICS=true
- MEILI_MASTER_KEY=${MEILI_MASTER_KEY}
volumes:
- ./meili_data_v1.35.1:/meili_data
vectordb:
container_name: vectordb
image: pgvector/pgvector:0.8.0-pg15-trixie
environment:
POSTGRES_DB: mydatabase
POSTGRES_USER: myuser
POSTGRES_PASSWORD: mypassword
restart: always
volumes:
- pgdata2:/var/lib/postgresql/data
rag_api:
container_name: rag_api
image: registry.librechat.ai/danny-avila/librechat-rag-api-dev-lite:latest
environment:
- DB_HOST=vectordb
- RAG_PORT=${RAG_PORT:-8000}
restart: always
depends_on:
- vectordb
env_file:
- .env
volumes:
pgdata2:
一開始照著用有把嵌入檔案的功能弄出來，但是因為它讓兩個服務共用 .env，所以其實不知道哪個設定是對應哪個服務的，所以我是著精簡化它，但是嵌入功能就不見了，折騰一下子還是找不到正確的配置方式。官方的文件也沒有把設定分開來講，最後就放棄了。
實作程序關閉
是否有實作 Graceful Shutdown？ 有。
LibreChat exited with code 0
rag_api exited with code 0
小結
有 Libre 開頭暗示著它的開發者立場是擁抱開源的資訊人（？），所以大部分設定都是透過組態檔完成的，並沒有提供太多 GUI 來供使用者設定，這對外行人而言無疑提高了入門門檻。
但是反過來，映像檔內殘留前端的仰賴；服務拆成兩個設定卻混在一起（不論是實作還是文件）；RAG 缺乏審計機制...都顯得不夠成熟。