Tạo bộ kiểm thử phản hồi đơn

Đánh giá phản hồi đơn lẻ kiểm tra agent của bạn trên từng câu hỏi riêng biệt, thay vì toàn bộ cuộc hội thoại. Ví dụ, một bài đánh giá phản hồi đơn cho agent dịch vụ khách hàng hỏi "Giờ làm việc của công ty là gì?", ghi lại câu trả lời của agent cho câu hỏi đó, sau đó bắt đầu với một câu hỏi mới, "Tôi có thể tìm lịch sử đơn hàng của mình như thế nào?".

Đánh giá phản hồi đơn lẻ rất hữu ích khi bạn muốn kiểm tra agent của mình về cách chúng trả lời các câu hỏi cụ thể, về những chức năng chúng gọi và về cách diễn đạt chính xác chúng sử dụng trong câu trả lời. Bạn cũng có thể chạy đánh giá hội thoại, cho phép bạn đánh giá hành vi của agent trong một tương tác dài hơn.

Các bài đánh giá sử dụng những bộ công cụ test. Một bộ công cụ test cho đánh giá phản hồi đơn lẻ bao gồm một nhóm tối đa 100 trường hợp kiểm thử. Khi chạy đánh giá agent, bạn chọn một bộ công cụ test và Copilot Studio sẽ chạy mọi trường hợp kiểm thử trong bộ đó đối với agent của bạn.

Bạn có thể tạo các trường hợp kiểm thử trong một bộ công cụ test theo cách thủ công, nhập chúng bằng cách sử dụng bảng tính hoặc sử dụng AI để tạo tin nhắn dựa trên thiết kế và tài nguyên của agent. Sau đó, bạn có thể chọn cách bạn muốn đo lường chất lượng phản hồi của agent cho từng trường hợp thử nghiệm trong một bộ công cụ test.

Để biết thêm thông tin về cách đánh giá agent hoạt động, hãy xem Tổng quan về đánh giá agent.

Tạo một bộ công cụ test mới

1. Truy cập trang Evaluation của agent.

2. Chọn New evaluation > Single response.

3. Chọn phương pháp bạn muốn sử dụng để tạo bộ công cụ test của mình. Một bộ công cụ test có thể có tối đa 100 trường hợp thử nghiệm.

• Quick question set để Copilot Studio tự động tạo các trường hợp thử nghiệm dựa trên mô tả, hướng dẫn và khả năng của agent. Tùy chọn này tạo ra 10 câu hỏi để chạy các đánh giá nhỏ, nhanh chóng hoặc để bắt đầu xây dựng một bộ công cụ test lớn hơn.
• Full question set để Copilot Studio tạo các trường hợp kiểm thử bằng cách sử dụng nguồn kiến ​​thức hoặc chủ đề và chọn số lượng câu hỏi cần tạo.
• Use your test chat conversation để tự động điền bộ công cụ test với các câu hỏi bạn đã cung cấp trong test chat. Phương pháp này sử dụng các câu hỏi từ test chat gần nhất. Bạn cũng có thể bắt đầu đánh giá từ test chat bằng cách sử dụng biểu tượng đánh giá.

• Nhập các trường hợp kiểm thử từ một file bằng cách kéo file của bạn vào khu vực được chỉ định, chọn Browse để upload lên file hoặc chọn một trong những tùy chọn upload khác.
• Hoặc, tự viết một số câu hỏi để tạo bộ công cụ test theo cách thủ công. Thực hiện theo các bước để chỉnh sửa bộ công cụ test để thêm và chỉnh sửa những trường hợp kiểm thử.
• Sử dụng dữ liệu sản xuất dựa trên các chủ đề từ phân tích của agent.

4. Trong mục Name, nhập tên cho bộ công cụ test của bạn.

5. Thay đổi hoặc thêm các phương pháp kiểm thử bạn muốn sử dụng:

• Thêm phương pháp mới:
  
  • Chọn Add test method.
  • Chọn tất cả các phương pháp bạn muốn kiểm thử, sau đó chọn OK.
  • Một số phương pháp yêu cầu điểm đạt. Điểm đạt xác định điểm nào dẫn đến đạt hoặc không đạt. Đặt điểm, sau đó chọn OK.
  • Một số phương pháp yêu cầu thêm phản hồi dự kiến ​​hoặc từ khóa cho mỗi trường hợp kiểm thử của bạn.
• Chọn một phương pháp kiểm thử hiện có để chỉnh sửa hoặc xóa.

6. Chỉnh sửa chi tiết các trường hợp kiểm thử. Tất cả các phương pháp kiểm thử, ngoại trừ chất lượng chung, đều yêu cầu phản hồi hoặc từ khóa dự kiến.

7. Chọn User profile, sau đó chọn hoặc thêm tài khoản bạn muốn sử dụng cho bộ công cụ test này, hoặc tiếp tục mà không cần xác thực. Quá trình đánh giá sử dụng tài khoản này để kết nối với các nguồn kiến ​​thức và công cụ trong quá trình kiểm thử. Nếu chọn một tài khoản khác với tài khoản có xác thực kết nối để đánh giá, các agent sử dụng connector hoặc công cụ sẽ thất bại.

8. Chọn Save để cập nhật bộ công cụ test mà không chạy các trường hợp kiểm thử hoặc Evaluate để chạy bộ công cụ test ngay lập tức.

Giới hạn tạo trường hợp kiểm thử

Việc tạo trường hợp kiểm thử sẽ thất bại nếu một hoặc nhiều câu hỏi vi phạm cài đặt kiểm duyệt nội dung của agent. Các lý do có thể bao gồm:

• Hướng dẫn hoặc chủ đề của agent khiến mô hình tạo ra nội dung mà hệ thống gắn cờ.
• Nguồn kiến ​​thức được kết nối bao gồm nội dung nhạy cảm hoặc bị hạn chế.
• Cài đặt kiểm duyệt nội dung của agent quá nghiêm ngặt.

Để giải quyết vấn đề, hãy thử các hành động khác nhau, chẳng hạn như điều chỉnh nguồn kiến ​​thức, cập nhật hướng dẫn hoặc sửa đổi cài đặt kiểm duyệt.

Một bộ công cụ test có thể chứa tối đa 100 trường hợp kiểm thử.

Tạo bộ công cụ test từ kiến ​​thức hoặc chủ đề

Bạn có thể kiểm thử agent của mình bằng cách tạo câu hỏi sử dụng thông tin và nguồn hội thoại mà agent của bạn đã có. Phương pháp kiểm thử này tốt để kiểm thử cách agent của bạn sử dụng nguồn kiến ​​thức hoặc chủ đề mà nó đã có, nhưng không tốt để kiểm thử các lỗ hổng thông tin.

Bạn có thể tạo trường hợp kiểm thử bằng cách sử dụng các nguồn kiến ​​thức sau:

• Văn bản
• Microsoft Word
• Microsoft Excel
• File PDF
• Nội dung SharePoint

Bạn có thể sử dụng các file có dung lượng tối đa 5 MB để tạo câu hỏi kiểm thử.

Để tạo bộ công cụ test:

1. Trong mục New evaluation, chọn Full question set.

2. Chọn Knowledge hoặc Topics.

• Knowledge hoạt động tốt nhất cho các agent sử dụng điều phối tạo sinh. Phương pháp này tạo câu hỏi bằng cách sử dụng một trong các nguồn kiến ​​thức của agent.
• Topics hoạt động tốt nhất cho các agent sử dụng điều phối cổ điển. Phương pháp này tạo câu hỏi bằng cách sử dụng các chủ đề của agent.

3. Đối với Knowledge, chọn nguồn kiến ​​thức bạn muốn sử dụng để tạo câu hỏi.

4. Đối với Knowledge và Topics, chọn và kéo thanh trượt để chọn số lượng câu hỏi cần tạo.

5. Chọn Generate.

6. Trong mục Name, nhập tên cho bộ công cụ test của bạn.

7. Thay đổi hoặc thêm các phương pháp kiểm thử bạn muốn sử dụng:

• Thêm phương pháp mới:
  
  • Chọn Add test method.
  • Chọn tất cả các phương pháp bạn muốn kiểm thử, sau đó chọn OK. Bạn có thể thêm nhiều phương pháp.
  • Đối với một số phương pháp, đặt điểm đạt, sau đó chọn OK. Điểm đạt sẽ quyết định điểm nào dẫn đến đạt hoặc không đạt.
  • Một số phương pháp yêu cầu thêm các câu trả lời dự kiến ​​hoặc từ khóa cho mỗi trường hợp kiểm thử của bạn.
• Chọn một phương pháp kiểm thử hiện có để chỉnh sửa hoặc xóa.

8. Chỉnh sửa chi tiết của các trường hợp kiểm thử. Tất cả các trường hợp kiểm thử sử dụng những phương pháp, ngoại trừ chất lượng chung, đều yêu cầu câu trả lời dự kiến.

9. Chọn Save để cập nhật bộ công cụ test mà không chạy các trường hợp kiểm thử hoặc chọn Evaluate để chạy bộ công cụ test ngay lập tức.

Tạo file bộ công cụ test để nhập

Thay vì xây dựng trực tiếp các trường hợp kiểm thử của bạn trong Copilot Studio, bạn có thể tạo một file bảng tính với tất cả các trường hợp kiểm thử của mình và nhập chúng để tạo bộ công cụ test. Bạn có thể soạn thảo từng câu hỏi kiểm thử, xác định phương pháp kiểm thử bạn muốn sử dụng và nêu rõ các câu trả lời dự kiến ​​cho mỗi câu hỏi. Khi bạn hoàn thành việc tạo file, hãy lưu file đó dưới dạng file .csv hoặc .txt và nhập file đó vào Copilot Studio.

Để tạo file nhập:

1. Mở một ứng dụng bảng tính (ví dụ: Microsoft Excel). Bạn có thể tải xuống template CSV trong mục Data source sau khi chọn New evaluation.

2. Thêm các tiêu đề sau, theo thứ tự này, vào hàng đầu tiên:

• Câu hỏi
• Câu trả lời mong đợi
• Phương pháp kiểm thử

3. Nhập các câu hỏi kiểm thử của bạn vào cột Question. Mỗi câu hỏi có thể dài tối đa 1.000 ký tự, bao gồm cả khoảng trắng.

4. Nhập một trong các phương pháp kiểm thử sau cho mỗi câu hỏi vào cột Testing method:

• Chất lượng chung
• So sánh ý nghĩa
• Độ tương đồng
• Khớp chính xác
• Khớp từ khóa

5. Nhập các câu trả lời mong đợi cho mỗi câu hỏi vào cột Expected response. Câu trả lời mong đợi là tùy chọn khi nhập bộ công cụ test. Tuy nhiên, bạn cần câu trả lời mong đợi để chạy các trường hợp kiểm thử khớp, độ tương đồng và so sánh ý nghĩa.

6. Lưu file dưới dạng file .csv hoặc .txt.

7. Nhập file theo các bước lần lượt.

Tạo bộ công cụ test dựa trên theme

Tạo bộ công cụ test với các câu hỏi từ các cuộc hội thoại với người dùng thực. Phương pháp này sử dụng các theme, được tìm thấy trong phần phân tích của agent.

Theme là các nhóm câu hỏi được lấy từ kho câu hỏi của người dùng, kích hoạt những câu trả lời tự động. Khi tạo bộ công cụ test bằng cách sử dụng theme, bạn sẽ tạo các trường hợp kiểm thử từ các câu hỏi do người dùng đặt ra liên quan đến theme đó.

Sử dụng các bộ công cụ test này để thực hiện đánh giá tập trung vào một lĩnh vực hoặc chủ đề cụ thể trong phạm vi công việc của agent. Ví dụ, nếu có agent dịch vụ khách hàng, bạn có thể theo dõi chất lượng câu trả lời cho các câu hỏi về thanh toán và hóa đơn riêng biệt với những trường hợp sử dụng khác như khắc phục sự cố.

1. Trên trang Analytics của agent, hãy chuyển đến danh sách Themes.

2. Di chuột qua một theme, sau đó chọn Evaluate.

Bạn cũng có thể chọn See all để xem thêm theme, sau đó chọn Evaluate.

3. Chọn Create and open.

4. Chỉnh sửa chi tiết của các bộ công cụ test và trường hợp kiểm thử. Tất cả các trường hợp kiểm thử sử dụng phương thức, ngoại trừ kiểm thử chất lượng chung, đều yêu cầu phản hồi dự kiến.

5. Chọn Save để cập nhật bộ công cụ test mà không chạy các trường hợp kiểm thử hoặc chọn Evaluate để chạy bộ công cụ test ngay lập tức.