Data versioning
Datasets-ஐயும் data pipelines-ஐயும் code மாதிரி version பண்ணணும். அப்போ ஒவ்வொரு model-ஐயும் அது train ஆன exact data-வோட trace பண்ணலாம், எந்த training run-ஐயும் திரும்ப reproduce பண்ணலாம்.
Intermediate 2 · RAG builderabout 2 hours7 sections
சுருக்கமா சொன்னா
Data versioning, DVC மாதிரி tools வச்சு datasets-ஐ code மாதிரி track பண்ணும். அதனால ஒவ்வொரு model-ஐயும் அது train ஆன exact data-வோட trace பண்ணலாம், எந்த run-ஐயும் திரும்ப பண்ணலாம்.
இது ஏன் முக்கியம்
Retrain பண்ணப்புறம் model மோசமாயிடுச்சுன்னா, data-ல என்ன மாறுச்சுன்னே தெரியலைன்னா அதுக்கு பதில் சொல்ல முடியாது. Data versioning, data மாற்றங்களை கண்ணுக்கு தெரியுற, review பண்ணக்கூடிய, திருப்பி எடுக்கக்கூடியதா ஆக்கும். Regulated industries-ல audits-க்கும் இது அடிக்கடி தேவைப்படும்.
Sign up free to read the whole lesson
The rest of this lesson: 7 parts, video lessons, the best course, practice and a quick check. It is free, takes a few seconds and needs no card.
Accounts are for learners aged 18 and over. Under 18? The quick answer and the first part of every lesson stay open: browse lessons by topic.
Lessons on Machine Learning Engineer0 of 31 done
- 1Variables, loops and functions in Python
- 2Tables with pandas
- 3Maths for machine learning
- 4Statistics for machine learning
- 5NumPy and plotting
- 6Regression
- 7Classification
- 8Trees and gradient boosting
- 9Unsupervised learning
- 10Feature engineering
- 11Cross-validation and leakage
- 12Choosing a metric
- 13Neural networks
- 14PyTorch
- 15CNNs for images
- 16Transformers
- 17How a chat model is made: pre-training, SFT and preference tuning
- 18Model size and scaling laws: parameters, training data and compute
- 19Perplexity and cross-entropy: how language models are measured
- 20How a model picks its next word: temperature, top-p and top-k
- 21How fine-tuning works: data, training and what can go wrong
- 22LoRA, QLoRA and the GPU memory maths
- 23Fine-tuning in practice: tools, settings and reading the loss curve
- 24Model merging: combining fine-tuned models into one
- 25Synthetic data and distillation: training with model-made data
- 26Building a training dataset: quality, coverage and quantity
- 27Experiment tracking and model registry
- 28Serving a model
- 29Monitoring and drift
- 30Data versioning
- 31ML interviews
Related
On these roadmaps: Machine Learning Engineer, MLOps Engineer
DataIntermediate 2: RAG builderVideo lessonsData versioningExperiment trackingModel registryETL and ELT