Hãy tham gia bản tin hàng ngày và hàng tuần của chúng tôi để nhận thông tin cập nhật mới nhất và nội dung độc quyền về các tin tức hàng đầu về AI. Tìm hiểu thêm Các doanh nghiệp cần biết liệu các mô hình cung cấp sức mạnh cho các ứng dụng và tác nhân của họ có hoạt động trong các tình huống thực tế hay không. Loại đánh giá này đôi khi có thể phức tạp vì rất khó để dự đoán các tình huống cụ thể. Một phiên bản cải tiến của chuẩn RewardBench tìm cách cung cấp cho các tổ chức ý tưởng tốt hơn về hiệu suất thực tế của mô hình. Viện AI Allen (Ai2) đã ra mắt RewardBench 2, một phiên bản cập nhật của chuẩn mô hình phần thưởng, RewardBench, mà họ tuyên bố cung cấp một cái nhìn toàn diện hơn về hiệu suất mô hình và đánh giá mức độ phù hợp của các mô hình với các mục tiêu và tiêu chuẩn của doanh nghiệp. Ai2 đã xây dựng RewardBench với các tác vụ phân loại đo lường mối tương quan thông qua tính toán thời gian suy luận và đào tạo hạ nguồn. RewardBench chủ yếu giải quyết các mô hình phần thưởng (RM), có thể đóng vai trò là người đánh giá và đánh giá đầu ra của LLM. RM chỉ định một điểm số hoặc “phần thưởng” hướng dẫn việc học tăng cường với phản hồi của con người (RHLF). RewardBench 2 đã ra mắt! Chúng tôi đã mất một thời gian dài để học hỏi từ công cụ đánh giá mô hình phần thưởng đầu tiên của mình để tạo ra một công cụ khó hơn đáng kể và tương quan nhiều hơn với cả RLHF hạ nguồn và khả năng mở rộng thời gian suy luận. pic.twitter.com/NGetvNrOQV — Ai2 (@allen_ai) Ngày 2 tháng 6 năm 2025
Nathan Lambert, một nhà khoa học nghiên cứu cấp cao tại Ai2, nói với VentureBeat rằng RewardBench đầu tiên đã hoạt động như dự định khi nó được ra mắt. Tuy nhiên, môi trường mô hình đã phát triển nhanh chóng, và các chuẩn mực của nó cũng vậy. Ông nói: “Khi các mô hình phần thưởng trở nên tiên tiến hơn và các trường hợp sử dụng trở nên phức tạp hơn, chúng tôi nhanh chóng nhận ra với cộng đồng rằng phiên bản đầu tiên không nắm bắt đầy đủ sự phức tạp của sở thích của con người trong thế giới thực”. Lambert nói thêm rằng với RewardBench 2, “chúng tôi đặt mục tiêu cải thiện cả bề rộng và chiều sâu của đánh giá—kết hợp các lời nhắc đa dạng và thách thức hơn, đồng thời tinh chỉnh phương pháp để phản ánh tốt hơn cách con người thực sự đánh giá đầu ra của AI trong thực tế.” Ông cho biết phiên bản thứ hai sử dụng các lời nhắc của con người chưa từng thấy, có thiết lập chấm điểm đầy thách thức hơn và các miền mới. Sử dụng đánh giá cho các mô hình đánh giá Trong khi các mô hình phần thưởng kiểm tra mức độ hoạt động tốt của các mô hình, thì điều quan trọng nữa là RM phải phù hợp với các giá trị của công ty; nếu không, quá trình tinh chỉnh và học tăng cường có thể củng cố các hành vi xấu, chẳng hạn như ảo giác, giảm khả năng khái quát hóa và chấm điểm quá cao các phản hồi có hại. RewardBench 2 bao gồm sáu miền khác nhau: tính xác thực, tuân thủ hướng dẫn chính xác, toán học, an toàn, tập trung và hòa giải. “Các doanh nghiệp nên sử dụng RewardBench 2 theo hai cách khác nhau tùy thuộc vào ứng dụng của họ. Nếu họ tự thực hiện RLHF, họ nên áp dụng các phương pháp hay nhất và bộ dữ liệu từ các mô hình hàng đầu trong quy trình của riêng họ vì các mô hình phần thưởng cần các công thức đào tạo tại chỗ (tức là các mô hình phần thưởng phản ánh mô hình mà họ đang cố gắng đào tạo bằng RL). Đối với việc mở rộng thời gian suy luận hoặc lọc dữ liệu, RewardBench 2 đã chỉ ra rằng họ có thể chọn mô hình tốt nhất cho miền của mình và xem hiệu suất tương quan”, Lambert nói. Lambert lưu ý rằng các chuẩn mực như RewardBench cung cấp cho người dùng một cách để đánh giá các mô hình mà họ đang chọn dựa trên “các khía cạnh quan trọng nhất đối với họ, thay vì dựa vào một điểm số phù hợp với tất cả mọi người”. Ông cho biết ý tưởng về hiệu suất, mà nhiều phương pháp đánh giá tuyên bố là đánh giá, rất chủ quan vì một phản hồi tốt từ một mô hình phụ thuộc rất nhiều vào bối cảnh và mục tiêu của người dùng. Đồng thời, sở thích của con người trở nên rất khác biệt. Ai 2 đã phát hành phiên bản đầu tiên của RewardBench vào tháng 3 năm 2024. Vào thời điểm đó, công ty cho biết đây là chuẩn mực và bảng xếp hạng đầu tiên cho các mô hình phần thưởng. Kể từ đó, một số phương pháp để đánh giá và cải thiện RM đã xuất hiện. Các nhà nghiên cứu tại FAIR của Meta đã đưa ra reWordBench. DeepSeek đã phát hành một kỹ thuật mới có tên là Self-Principled Critique Tuning để RM thông minh hơn và có thể mở rộng quy mô. Vô cùng vui mừng khi công cụ đánh giá mô hình phần thưởng thứ hai của chúng tôi đã ra mắt. Nó khó hơn đáng kể, sạch hơn nhiều và tương quan tốt với việc lấy mẫu PPO/BoN hạ nguồn. Chúc mừng leo đồi! Xin chúc mừng @saumyamalik44, người đã dẫn đầu dự án với cam kết xuất sắc hoàn toàn. https://t.co/c0b6rHTXY5 — Nathan Lambert (@natolambert) Ngày 2 tháng 6 năm 2025 Cách các mô hình hoạt động Vì RewardBench 2 là phiên bản cập nhật của RewardBench, Ai2 đã thử nghiệm cả các mô hình hiện có và mới được đào tạo để xem chúng có tiếp tục xếp hạng cao hay không. Chúng bao gồm nhiều mô hình khác nhau, chẳng hạn như các phiên bản của Gemini, Claude, GPT-4.1 và Llama-3.1, cùng với các bộ dữ liệu và mô hình như Qwen, Skywork và Tulu của riêng nó. Công ty nhận thấy rằng các mô hình phần thưởng lớn hơn hoạt động tốt nhất trên chuẩn mực vì các mô hình cơ sở của chúng mạnh hơn. Nhìn chung, các mô hình hoạt động mạnh nhất là các biến thể của Llama-3.1 Instruct. Về khả năng tập trung và an toàn, dữ liệu Skywork “đặc biệt hữu ích” và Tulu hoạt động tốt về tính xác thực. Ai2 cho biết mặc dù họ tin rằng RewardBench 2 “là một bước tiến trong đánh giá dựa trên độ chính xác đa miền, rộng rãi” cho các mô hình phần thưởng, nhưng họ cảnh báo rằng việc đánh giá mô hình chủ yếu nên được sử dụng như một hướng dẫn để chọn các mô hình hoạt động tốt nhất với nhu cầu của doanh nghiệp. Thông tin chi tiết hàng ngày về các trường hợp sử dụng kinh doanh với VB Daily Nếu bạn muốn gây ấn tượng với sếp của mình, VB Daily sẽ giúp bạn. Chúng tôi cung cấp cho bạn thông tin nội bộ về những gì các công ty đang làm với AI tạo sinh, từ những thay đổi về quy định đến triển khai thực tế, để bạn có thể chia sẻ thông tin chi tiết để có ROI tối đa. Đăng ký ngay Đọc Chính sách quyền riêng tư của chúng tôi Cảm ơn bạn đã đăng ký. Xem thêm bản tin VB tại đây. Đã xảy ra lỗi.
Leave a Reply