Large Language Models

একটি LLM-এর জীবনচক্র

1. Pretraining: বিশাল text-এ next-token prediction (মাস, কোটি ডলার)।
2. Supervised Fine-Tuning (SFT): instruction-following শেখানো।
3. RLHF / DPO: human preference থেকে align।
4. Safety / Red-teaming: harmful output ছাঁকা।
5. Serving: quantization, KV-cache, batching।

Emergent Capabilities

একটি নির্দিষ্ট scale পেরোলে — in-context learning, chain-of-thought reasoning, code generation, translation — সব এমনি "emerge" করে, যদিও সরাসরি শেখানো হয়নি।

Context Window

Open বনাম Closed

API দিয়ে দ্রুত শুরু

# OpenAI
from openai import OpenAI
client = OpenAI()
r = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role":"user","content":"বাংলায় ১টি হাইকু লেখো"}],
)
print(r.choices[0].message.content)

# HuggingFace local
from transformers import pipeline
chat = pipeline("text-generation", model="meta-llama/Llama-3.2-1B-Instruct")
print(chat("Explain attention in 2 lines.", max_new_tokens=80)[0]["generated_text"])

Local Run — Ollama / llama.cpp

# CLI
ollama pull llama3.2:3b
ollama run llama3.2:3b "summarize attention in 3 lines"

# python
import requests
requests.post("http://localhost:11434/api/generate",
              json={"model":"llama3.2:3b","prompt":"hello"})

Quantization — চালানোর জন্য

• FP16 / BF16: default training precision।
• INT8: মাঝারি accuracy loss।
• 4-bit (GPTQ, AWQ, GGUF Q4_K_M): consumer GPU-তে 7B–13B model।

Cost ও Speed

• KV-cache → repeat compute কমে।
• Batch inference → throughput বাড়ে।
• Speculative decoding → 2–3x দ্রুত।
• Streaming → user-perceived latency কম।

অনুশীলন

সারসংক্ষেপ