Siêu bình duyệt (Mega Peer-Reviewer): mô hình và động lực của hoạt động bình duyệt khoa học

Hiện nay, nhu cầu về người đánh giá ngang hàng (hay người bình duyệt, reviewer) không tương xứng với nguồn cung và sự sẵn có của người đánh giá. Do vậy, việc xác định các yếu tố liên quan hay ảnh hưởng đến hoạt động bình duyệt có thể cho phép phát triển các giải pháp để quản lý nhu cầu ngày càng tăng này. Mục tiêu của nghiên cứu này là xác định các yếu tố liên quan đến việc hoàn thành một số lượng lớn các đánh giá ngang hàng (kết quả bình duyệt hay bản phản biện, bản bình duyệt) trong một năm nhất định.

Các tác giả đã thiết kế nghiên cứu trường hợp có kiểm soát (case-control study design) để kiểm tra các yếu tố liên quan đến việc hành vi của một “siêu bình duyệt”. Một “siêu bình duyệt” trong nghiên cứu này được hiểu là một nhà bình duyệt (reviewer) đã hoàn thành ít nhất 100 bản bình duyệt  trong vòng một năm, cụ thể là từ tháng 1 năm 2018 đến tháng 12 năm 2018 so với nhóm kiểm soát (control group) gồm những người bình duyệt đã hoàn thành từ 1 đến 18 bản bình duyệt trong cùng một khoảng thời gian.

Dữ liệu được cung cấp bởi Publons, nơi cung cấp một kho lưu trữ các hoạt động của người bình duyệt ngoài việc theo dõi các ấn phẩm và số liệu nghiên cứu của người bình duyệt. Tổng cộng có 1596 người bình duyệt có dữ liệu do Publons cung cấp. Tổng cộng có 396 “siêu bình duyệt” và một mẫu ngẫu nhiên gồm 1200 người đánh giá nhóm kiểm soát. Cả hai nhóm đều bao gồm số lượng nam giới nhiều hơn nữ giới (đánh giá của đồng nghiệp lớn = 92,4% nam, người ở nhóm kiểm soát = 70,0% nam).

Một loạt các bài kiểm tra t-test mẫu độc lập (independent sample t-tests) và bài kiểm tra chi bình phương (chi-square tests) được thực hiện so sánh các đặc điểm (ví dụ: số lượng ấn phẩm, số lượng trích dẫn, số lượng từ của bài đánh giá ngang hàng) của những “siêu bình duyệt” với nhóm kiểm soát.

Kết quả là, các “siêu bình duyệt” đã có số lượng trung bình lớn hơn đáng kể tổng số ấn phẩm, trích dẫn trong Publons và chỉ số h trung bình cao hơn so với nhóm kiểm soát. Ngoài ra, nhóm kiểm soát có số lượng từ trung bình lớn hơn đáng kể trong các bài đánh giá ngang hàng của họ (trung bình = 332,48, độ lệch chuẩn [SD] = 346,30) so với những “siêu bình duyệt” (trung bình = 272,50, SD = 219,99).

Đáng chú ý, những người “siêu bình duyệt” đa số là nam giới. Điều này có thể phù hợp với các kết quả nghiên cứu trước đây cho thấy sự lệch lạc về giới giữa các biên tập viên, theo đó các biên tập viên mời ít người đánh giá đồng nghiệp là nữ hơn so với nam giới.

Các hoạt động đánh giá ngang hàng này tác động đáng kể đến nghiên cứu vì tổng số bài báo được đánh giá bởi các “siêu bình duyệt” trong năm 2018 là hơn 54.000. Các bài báo này đã được 396 cá nhân đánh giá ngang hàng và điều này thể hiện các đánh giá đồng cấp nhiều hơn 11 lần so với 1200 cá nhân trong nhóm kiểm soát đã hoàn thành. Khi xem xét số lượng đánh giá ngang hàng được hoàn thành bởi những “siêu bình duyệt”, có thể mức độ chi tiết được cung cấp cho các tác giả kém toàn diện hơn so với những người đánh giá ngang hàng ở nhóm kiểm soát. Số lượng từ của các bài đánh giá được gửi bởi những “siêu bình duyệt” ít hơn đáng kể so với số từ của nhóm kiểm soát của những người đánh giá và số từ trung bình của các đồng nghiệp tại cùng một cơ sở.

Từ đó, các tác giả đưa ra kết luận rằng, có một nhóm nhỏ những người bình duyệt tích cực cao hoàn thành một tỷ lệ lớn các hoạt động bình duyệt. Những cá nhân này thể hiện những đặc điểm khác biệt đáng kể so với những người đánh giá hoàn thành một số lượng đánh giá đồng nghiệp điển hình hơn trong khoảng thời gian một năm.

Hiện tại vẫn chưa biết liệu những “siêu bình duyệt” có được khen thưởng tại các cơ sở của họ để đánh giá đồng nghiệp hay không và liệu có các khuyến khích khác hay không đóng góp vào hoạt động bình duyệt. Nghiên cứu trong tương lai nhằm xác định các rào cản định tính và định lượng và các yếu tố hỗ trợ liên quan đến hành vi bình duyệt có thể cung cấp cơ sở để bắt kịp với nhu cầu ngày càng tăng đối với những người bình duyệt. Nó cũng có thể xác định các hỗ trợ viên và các rào cản để tạo ra các đánh giá đồng nghiệp chất lượng cao.

Lược dịch: Lương Ngọc

 Ghi chú: Những quan điểm của tác giả không hẳn là quan điểm của Tạp chí Giáo dục.

Tài liệu tham khảo: Rice, D., Pham, B., Presseau, J., Tricco, A., & Moher, D. (2021). Identifying Patterns and Motivations of “Mega” Peer-Reviewers. Resesearch Square. https://doi.org/10.21203/rs.3.rs-480702/v1 (preprints).