Agents-ஐ evaluate பண்றது
ஒரு agent-க்கு eval suite build பண்ண முடியும்: உண்மையான tasks, outcomes-க்கும் trajectories-க்கும் graders, consistency அளக்க repeated runs, உண்மையான முன்னேற்றத்தை காட்டுற tracking.
Pro 1 · Quality engineerabout 4 hours7 sections
சுருக்கமா சொன்னா
Agents-ஐ உண்மையான tasks-ல evaluate பண்ணுங்க: final outcome-ஐயும் அது எடுத்த steps-ஐயும் grade பண்ணுங்க, consistency அளக்க ஒவ்வொரு task-ஐயும் பல தடவை run பண்ணுங்க, cost, time-ஐயும் track பண்ணுங்க.
இது ஏன் முக்கியம்
ஒரு single model call-ஐ விட agents அதிக விதத்துல fail ஆகும்: தப்பான tools, வீணான steps, safe இல்லாத actions, அதிர்ஷ்டத்துல கிடைச்ச சரியான answers. Agent-specific evals இல்லைன்னா, ஒவ்வொரு prompt change-உம் சூதாட்டம் தான். Agent வேலைக்கு hire பண்ற teams, ஒண்ணை எப்படி evaluate பண்ணுவீங்கன்னு கேப்பாங்க.
Sign up free to read the whole lesson
The rest of this lesson: 7 parts, video lessons, the best course, practice and a quick check. It is free, takes a few seconds and needs no card.
Accounts are for learners aged 18 and over. Under 18? The quick answer and the first part of every lesson stay open: browse lessons by topic.
Lessons on Agentic AI Engineer0 of 27 done
- 1Call an LLM API from code
- 2Get structured JSON output
- 3Tool calling
- 4The agent loop
- 5Designing tools for agents
- 6Agent memory
- 7Planning and reflection
- 8Context engineering
- 9LangGraph: agents as graphs
- 10Agent SDKs and sub-agents
- 11Multi-agent systems
- 12MCP servers and clients
- 13Browser and computer-use agents
- 14Logs and traces for agents
- 15How agents fail
- 16Test sets and evals
- 17Defend against prompt injection
- 18Human approval steps
- 19Guardrails
- 20Permissions and sandboxing
- 21Loop limits, budgets and kill switches
- 22Evaluating agents
- 23Advanced harness engineering
- 24Harnesses for long-running agents
- 25Deploy and monitor an LLM app
- 26Cost control
- 27Accountability for agent actions
Related
On the roadmap: Agentic AI Engineer
EvaluationPro 1: Quality engineerVideo lessonsTrajectoryEvalsLLM as judgeGolden set