GPUs-உம் quantization-உம்
ஒரு GPU-ல model-ஐ எது கட்டுப்படுத்துதுன்னு (weights, cache-க்கான memory, compute, bandwidth) புரிஞ்சுக்கிட்டு, GPU types, எண்ணிக்கையை தேர்ந்தெடுத்து, models-ஐ fit பண்ணவும் வேகப்படுத்தவும் quantization use பண்ண முடியும்.
Pro 1 · Quality engineerabout 3 hours7 sections
சுருக்கமா சொன்னா
GPU-ல ஒரு model-ஐ கட்டுப்படுத்துறது அதோட weights, cache-க்கான memory. Quantization weights-ஐ 8 அல்லது 4 மாதிரி குறைவான bits-ல store பண்ணுது; அதனால model fit ஆகும், கொஞ்சம் மட்டுமே quality இழந்து cheap-ஆ run ஆகும்.
இது ஏன் முக்கியம்
Self-hosting முடிவுகள் எல்லாம் GPU முடிவுகள் தான்; இந்தியாவோட cloud regions-ல GPUs விலை அதிகம், கிடைக்கிறதும் குறைவு. Back of an envelope-ல deployment-ஐ size பண்ண தெரிஞ்ச platform engineers, clients-க்கு மாசம் லட்சக்கணக்குல மிச்சப்படுத்தி, தப்பான hardware வாங்குறதை தவிர்ப்பாங்க.
Sign up free to read the whole lesson
The rest of this lesson: 7 parts, video lessons, the best course, practice and a quick check. It is free, takes a few seconds and needs no card.
Accounts are for learners aged 18 and over. Under 18? The quick answer and the first part of every lesson stay open: browse lessons by topic.
Lessons on MLOps Engineer0 of 37 done
- 1Packages and virtual environments
- 2The terminal and Git
- 3Call an LLM API from code
- 4Python for production
- 5Linux, the shell and SSH
- 6Docker and Compose
- 7Kubernetes and Helm basics
- 8One cloud in depth
- 9Experiment tracking and model registry
- 10Data versioning
- 11Serving a model
- 12Monitoring and drift
- 13Serving an AI app
- 14Deploy and monitor an LLM app
- 15LLM gateways
- 16Open-weight models with vLLM
- 17GPUs and quantization
- 18LoRA, QLoRA and the GPU memory maths
- 19Inside LLM inference: prefill, decode and the KV cache
- 20Running models on many GPUs: replicas, tensor and pipeline parallelism
- 21CI/CD with GitHub Actions
- 22Environments, secrets and Terraform
- 23Regression tests for prompts
- 24Versioning prompts and models
- 25Tracing LLM apps
- 26Logs and traces for agents
- 27Test sets and evals
- 28Online evals and feedback
- 29Caching and speed
- 30Cost control
- 31Batching and model tiering
- 32Latency budgets and load testing
- 33Security and privacy
- 34Audit logs
- 35Compliance for AI systems
- 36AI risk frameworks
- 37Incident response for AI
Related
On the roadmap: MLOps Engineer
Deployment and opsPro 1: Quality engineerVideo lessonsGPUKV cacheQuantizationvLLM