■ space · الكوفوتان

الجولة

قل ما جئت له. الكوفوتان سيجيبانك.

الخلاصة: Ollama — كوفوت الخدمة. يعمل عند الإقلاع ويرد على :11434 بينما تبقى حاسبتك بلا فأرة.

# the whole handshake
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5-coder:7b
curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5-coder:7b",
  "messages": [{"role":"user","content":"Explain bash exit codes in two lines"}],
  "stream": false
}'

# Developer tab → start server — or the lms CLI
lms server start
lms load qwen2.5-coder-7b-instruct --gpu max
curl http://localhost:1234/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{"model":"qwen2.5-coder-7b-instruct","messages":[{"role":"user","content":"Write a jq filter for the top process by CPU"}]}'

درج التراخيص: Ollama ترخيصها MIT — لا تدين إلا بترخيص النموذج (لكل من Llama وMistral وQwen وGemma شروطه الخاصة). LM Studio مجانية للاستخدام الشخصي؛ والاستخدام العملي يمر عبر علامة ترخيص العمل المجانية لديها، والشركات التي تتجاوز حد إيرادات معين تدفع. قسم المشتريات سيسأل — هذا الصف يُغلق الجدال.

ما الذي يخبرك به عمود المعالج

يكتشف Ollama واجهات CUDA وMetal وROCm عند الإقلاع وينقل كل ما يتسع له إلى كرت الشاشة. الفحص أمر واحد — والجواب كلمة واحدة. اقلبها:

# what did Ollama actually load — GPU or CPU?
ollama ps

# force the issue if it silently fell back to CPU:
OLLAMA_NUM_GPU=999 ollama run qwen2.5-coder:7b

OLLAMA_NUM_GPU يتجاوز عدد الطبقات — رقم كبير: كل شيء على الكرت؛ 0: المعالج المركزي فقط. إنه مسبار — الحل الحقيقي هو quant يتسع في الذاكرة.

تعرض LM Studio التحكم نفسه عبر مؤشر تمرير لإزاحة GPU لكل نموذج — أسهل في التجريب، وهي من لمساتها الأفضل حقاً.

سؤال السرعة، محسوماً

النموذج نفسه، والتكميم نفسه، والعتاد نفسه: تعادل — كلتاهما تفوض العمل إلى llama.cpp. ادعاءات الفوارق تقارن عادةً كميات تكميم أو أطوال سياق مختلفة. قِس على جهازك:

# Ollama: --verbose prints eval rate (tokens/sec) at the end
ollama run qwen2.5-coder:7b --verbose "Summarise what a Makefile does in one sentence."

في LM Studio، حمّل ملف GGUF نفسه بالسياق وطبقات GPU نفسها؛ وراقب tokens/s في لوحة الإحصاءات. أعد التشغيل مرتين — التحميل الأول ضجيج تسخين.

جد صفّك

قواعد عامة، بلا ندم في الاتجاهين:

1. تريد استخدام النماذج — دردشة، تجربة، العب بالمؤشرات: LM Studio.
2. تريد البناء على النماذج — سكربتات، وكلاء، CI، خدمة API منزلية: Ollama.
3. تريد الاثنين — ثبّت الاثنين؛ يتعايشان جيداً. فقط لا تدع الخادمين يطالبان بالمنفذ نفسه، وتذكر أن النموذج المحمّل مرتين يلتهم ذاكرة VRAM مرتين.

كلتاهما تفهم GGUF وتدفع النسب نفسها — Ollama تدمج llama.cpp؛ و LM Studio تستخدم بيئات تشغيل مبنية على llama.cpp. الملف نفسه، والناتج نفسه؛ تختلف الأداتان حول النموذج.

تنسجم النماذج المحلية بسوء مع أدوات البرمجة الوكيلة: وجّه عميلاً متوافقاً مع OpenAI إلى نقطة النهاية لديك — إكمالات بلا حدود وبكلفة صفرية لكل token. الفاتورة الوحيدة هي فاتورة الكهرباء.

نهاية الكوفوتين · لم يُجلب شيء · كل شيء محلي