20 lines
749 B
Plaintext
20 lines
749 B
Plaintext
|
Toolserver patch
|
||
|
|
|
||
|
|
Wat verandert dit?
|
||
|
|
- app.py draait nu standaard als TOOLSERVER_ONLY=1:
|
||
|
|
* expose: /openapi.json + /openapi/* + /v1/tools + /v1/tools/call + /healthz + /metrics
|
||
|
|
* verwijdert alle overige routes (zoals /v1/chat/completions) uit de FastAPI router.
|
||
|
|
- Alle LLM-calls die tools/agents doen, gaan via llm_client -> QueueManager -> LLM_PROXY_URL.
|
||
|
|
|
||
|
|
Config:
|
||
|
|
export TOOLSERVER_ONLY=1
|
||
|
|
export LLM_PROXY_URL="http://192.168.100.1:8081/v1/completions"
|
||
|
|
export LLM_MODEL="mistral-medium" # of wat je proxy verwacht
|
||
|
|
|
||
|
|
Startvoorbeeld:
|
||
|
|
uvicorn app:app --host 0.0.0.0 --port 8080
|
||
|
|
|
||
|
|
Opmerking:
|
||
|
|
- Interne LLM streaming is uitgezet (tools zijn non-stream).
|
||
|
|
Als je later streaming nodig hebt voor agents, dan moeten we llm_client uitbreiden.
|