Trong đánh giá mô hình AI (AI Evaluation & Data Annotation), việc phân biệt tiêu chí Khách quan (Objective) và Chủ quan (Subjective) đóng vai trò quyết định đến độ chính xác và tính nhất quán của dữ liệu training / benchmarking.





1. Tổng quan sự khác biệt

Tiêu chíObjective Metrics (Tiêu chí Khách quan)Subjective Metrics (Tiêu chí Chủ quan)
Bản chấtCó thể đo lường, đếm được, đúng/sai rõ ràngDựa trên cảm nhận, trải nghiệm và ngữ cảnh con người
Cách xác minhDựa vào dữ liệu thực tế (ground truth), quy tắc mã nguồn, thông số kỹ thuậtDựa vào hướng dẫn đánh giá (guidelines), tiêu chuẩn cộng đồng, gu người dùng
Mức độ đồng thuậnRất cao (Gần như 100% người đánh giá cho kết quả giống nhau)Trung bình - Thấp (Phụ thuộc vào góc nhìn của từng Annotator/Rater)
Đơn vị / Công cụCode, Scripts, Math, Automated BenchmarksLikert Scales (1-5 sao), Side-by-Side (A/B testing), Human Preference

2. Tiêu chí Khách quan (Objective Metrics)

Tiêu chí khách quan dùng để kiểm tra tính chính xác về mặt kỹ thuật, logic hoặc sự tuân thủ quy tắc. Khi đánh giá các tiêu chí này, đánh giá viên (Rater) hoặc script tự động không cần phải suy đoán hay đưa ra ý kiến cá nhân.

Các dạng tiêu chí phổ biến

  • Factuality / Accuracy (Tính chính xác của dữ liệu): Thông tin đưa ra đúng hay sai so với thực tế? (Ví dụ: "Hà Nội là thủ đô của Việt Nam" -> Đúng; nếu AI nói "Đà Nẵng" -> Sai).

  • Instruction Following (Tuân thủ kịch bản/Prompt): AI có làm đúng các yêu cầu về định dạng không? (Ví dụ: Prompt yêu cầu "Viết 3 gạch đầu dòng", AI viết 5 câu -> Trừ điểm).

  • Latency & Performance (Hiệu năng): Thời gian phản hồi (TTFT - Time to First Token), số token/giây, bộ nhớ sử dụng.

  • Automated Code Execution: Đoạn code AI sinh ra có chạy được mà không báo lỗi (Syntax/Runtime Error) hay không, có pass các Unit Test không.

Các công cụ/chỉ số đo lường tự động

  • Code: Pass Rate @ K, HumanEval.

  • Dịch thuật / Tóm tắt: BLEU, ROUGE, METEOR (so sánh chuỗi từ với đáp án chuẩn).

  • Phân loại: Accuracy, Precision, Recall, F1-Score.

3. Tiêu chí Chủ quan (Subjective Metrics)

Khi các mô hình AI ngày càng thông minh, các yếu tố kỹ thuật thuần túy không đủ để đánh giá độ "hay" của một câu trả lời. Tiêu chí chủ quan dùng để đo lường chất lượng trải nghiệm người dùng (User Experience / Qualitative Aspects).

Các dạng tiêu chí phổ biến

  • Naturalness / Fluency (Độ tự nhiên / Lưu khoát): Văn phong nghe giống người thật hay giống robot? Có bị gượng gập, lặp từ hay không?

  • Tone & Style (Tông giọng & Phong cách): Câu trả lời có đủ lịch sự, đồng cảm, chuyên nghiệp hoặc phù hợp với nhân vật (Persona) được giao không?

  • Helpfulness / Engagement (Độ hữu ích & Thu hút): Câu trả lời có thực sự giải quyết triệt để vấn đề của người dùng một cách hấp dẫn không?

  • Safety / Harmfulness (An toàn & Mức độ độc hại): Câu nói có gây phản cảm, phân biệt đối xử hay mang tính đe dọa không? (Khía cạnh này kết hợp cả quy tắc cứng lẫn cảm nhận văn hóa).

Phương pháp đánh giá

  • Human Preference (RLHF - Reinforcement Learning from Human Feedback): Người đánh giá chọn phản hồi A hay B tốt hơn (Pairwise Comparison / Side-by-Side).

  • Mean Opinion Score (MOS): Chấm điểm theo thang độ từ 1 đến 5 cho các tiêu chí như chất lượng giọng nói AI (Text-to-Speech).

  • LLM-as-a-Judge: Sử dụng một mô hình LLM mạnh hơn (như GPT-4o, Gemini 1.5 Pro) đóng vai trò người đánh giá dựa trên một khung Rubric chi tiết.

4. Cách kết hợp trong thực tế (Evaluating Hierarchy)

Trong các dự án AI thực tế (như đánh giá mô hình LLM, Chatbot, hoặc Voice AI), quy trình đánh giá thường được kết hợp theo dạng Tháp ưu tiên (Hierarchy):


       ▲
      / \     1. Subjective Metrics (Naturalness, Engagement, Tone)
     /   \    -> Quyết định chất lượng cao cấp (khi các mức dưới đã đạt)
    /-----\
   /       \  2. Objective Metrics (Factuality, Safety, Formatting)
  /_________\ -> Điều kiện tiên quyết (Mô hình bắt buộc phải đạt)

  1. Vòng 1 (Khách quan - Bộ lọc cơ bản): AI phải trả lời đúng thực tế, không vi phạm an toàn và đúng định dạng yêu cầu. Nếu sai lệch dữ liệu nghiêm trọng (Hallucination) hoặc lỗi code, câu trả lời bị loại ngay.

  2. Vòng 2 (Chủ quan - Yếu tố quyết định): Khi cả hai câu trả lời (Clip A và Clip B) đều đạt chuẩn khách quan ngang nhau, người đánh giá mới dựa vào Subjective Metrics (độ tự nhiên, sự tinh tế, văn phong) để đưa ra quyết định cuối cùng.