Hệ số tác động và những điểm mới trong đánh giá nghiên cứu

Năm ngoái, Tuyên bố San Francisco về đánh giá nghiên cứu (DORA) đã đưa ra một quan điểm đột phá trong đó thẳng thắn từ chối việc sử dụng các hệ số tác động trong đánh giá. Tài liệu này đã thu hút được sự ủng hộ trên toàn thế giới và trong cộng đồng học thuật. Vậy chính xác những hệ số tác động của tạp chí là gì và tại sao chúng lại thu hút nhiều sự quan tâm như vậy? Dưới đây là một số thông tin hữu ích mà chúng tôi đã giới thiệu trên trang blog Impact trong vài năm qua.

Hệ số tác động tạp chí (Journal Impact Factor) là gì?

Theo Wikipedia:

“Hệ số tác động (IF) của một tạp chí khoa học là thước đo phản ánh số lượng trích dẫn (citation) trung bình theo năm của các bài báo được xuất bản gần đây trên các tạp chí đó. Nó thường được với tư cách là proxy (thống kê học) đại diện cho độ  quan trọng tương đối của một tạp chí trong các lĩnh vực của nó, do đó những tạp chí có hệ số tác động lớn hơn được coi là quan trọng hơn và ngược lại. Hệ số ảnh hưởng được đặt ra bởi Eugene Garfield, nhà sáng lập Viện thông tin Khoa học (Institute for Sciencetific Information). [Sau đó nó đã được Thomson Reuters mua lại]. Bắt đầu từ năm 1975, các tạp chí nằm trong sách Journal Citation Reports (Báo cáo trích dẫn tạp chí) đều được tính hệ số ảnh hưởng theo từng năm”.

Bạn cũng có thể tìm đọc thêm nhiều thông tin hơn từ Thomson Reuters trên dịch vụ lập bảng tra (index) các trích dẫn của hệ thống Web of Science mà họ cung cấp:

“JCR cung cấp các công cụ định lượng để xếp hạng, đánh giá, phân loại và so sánh các tạp chí. Hệ số tác động là một trong những số đó, nó là thước đo tần suất mà “số lượng bài báo trung bình” trong một tạp chí được trích dẫn trong một năm hoặc một khoảng thời gian cụ thể. Hệ số tác động JCR hàng năm là tỷ lệ giữa các trích dẫn và các mục có thể được trích dẫn đã xuất bản gần đây. Do đó, hệ số tác động của một tạp chí được tính bằng cách chia số trích dẫn của năm hiện tại cho tổng số các nguồn được xuất bản trên tạp chí trong hai năm trước đó.”

(Ảnh: https://blogsmedia.lse.ac.uk/blogs.dir/9/files/2014/03/isi_articles_cartogram.png)

Tại sao các Hệ số tác động lại có vấn đề?

Sự “sụp đổ” của Hệ số tác động: Sức mạnh của mối quan hệ giữa tỉ lệ trích dẫn và IF bị suy giảm xuống mức thấp tương đương 40 năm trước.

Công việc, trợ cấp, uy tín và sự thăng tiến trong nghề nghiệp - tất cả đều dựa trên một khái niệm được thừa nhận mang tính sai sót: hệ số tác động của tạp chí. Các hệ số tác động ngày càng trở nên vô nghĩa kể từ năm 1991, theo George Lozano, người phát hiện ra sự khác biệt giữa tỷ lệ trích dẫn các bài báo thực tế so với số liệu IF của tạp chí đang ngày càng gia tăng.

Hệ số tác động được cho là không phù hợp với nhiệm vụ của chính nó

Tuyên bố San Francisco về đánh giá nghiên cứu nhằm giải quyết các vấn đề của cộng đồng nghiên cứu trong việc đánh giá kết quả đầu ra của từng cá nhân, một thông báo đáng mừng cho những người lo ngại về việc sử dụng sai các hệ số tác động của tạp chí. Stephen Curry đã khen ngợi các đề xuất của Tuyên bố nhưng cũng nêu bật một số khó khăn còn lại trong việc từ chối tham gia một nền văn hoá thể chế vẫn phụ thuộc vào hệ số tác động.

Các tạp chí có ảnh hưởng lớn: nơi tin tức có uy tín vượt trội về phương pháp luận

Sự chỉ trích tiếp tục tăng lên đối với các tạp chí có hệ số tác động cao; trong đó một nghiên cứu đã chỉ ra rằng ngày nay (người ta) ưa chuộng những nghiên cứu đẹp, “gợi cảm” để trưng diện lên trang nhất của các báo thay vì những nghiên cứu có tính nghiêm túc về phương pháp luận. Dorothy Bishop xác nhận những phát hiện này trong đánh giá của cô về một bài báo gần đây được xuất bản về chứng loạn đọc và lo ngại rằng nếu mục đích chính của các tạp chí là phủ sóng truyền thông thì khoa học sẽ bị ảnh hưởng. Do đó cần phải lưu ý nhiều hơn đến việc một nghiên cứu bất kỳ nào đó đã áp dụng đúng những phương pháp luận phù hợp với nó hay chưa.

Hệ thống Web of Science và hệ số tác động tạp chí tương ứng của nó không đủ để giúp chúng tahiểu về ảnh hưởng của các công trình học thuật từ các khu vực đang phát triển.

Juan Pablo Alperin lập luận rằng các thước đo thay thế mang đến cơ hội để chuyển hướng các cấu trúc khuyến khích sang các vấn đề liên quan đến sự phát triển, hoặc ít nhất là có liên quan đến các vấn đề được ưu tiên của địa phương. Nhưng cộng đồng altmetrics cần tích cực tham gia với các học giả từ khu vực đang phát triển để đảm bảo rằng các chỉ số mới không chỉ phục vụ cho những mạng lưới nổi tiếng và được thiết lập tốt.

Các tạp chí thao túng tầm quan trọng của các nghiên cứu và cách khắc phục

Các phương pháp “trao thưởng” cho các nghiên cứu của chúng tôi khuyến khích các biên tập viên “chơi trò chơi” với hệ thống, và 5 nhà nghiên cứu thì có 1 người cho biết rằng họ chịu áp lực phải đưa vào các trích dẫn từ các tạp chí tiềm năng nếu muốn công trình của họ được xuất bản. Curt Rice đã chỉ ra cách chúng ta có thể chấm dứt việc trích dẫn mang tính ép buộc này.

Các hệ số tác động cao thể hiện tỷ lệ trích dẫn mạnh, tuy nhiên những hệ số tác động tạp chí này hiệu quả hơn trong việc dự đoán tỉ lệ rút lại bài báo.

Các kế hoạch xếp hạng tạp chí có vẻ hữu ích, nhưng Björn Brembs đã nêu quan điểm về việcHệ số tác động của Thompson Reuters dường như là một yếu tố dự đoán đáng tin cậy về số lần rút lại, thay vì trích dẫn mà một bài báo nhất định sẽ nhận được. Câu hỏi đặt ra là các học giả có nên nghĩ kỹ về lợi ích của việc xuất bản trên một tạp chí có “hệ số cao” hay không?

Làm thế nào để cải thiện tình hình đánh giá nghiên cứu?

Cách tiếp cận của Bayes đối với REF: tìm kiếm dữ liệu phù hợp trên các bài báo và trích dẫn trên tạp chí để cung cấp thông tin cho việc đưa ra quyết định.

 Bây giờ thời hạn nộp bài của REF đã kết thúc, một nhóm nhỏ các học giả được giao nhiệm vụ đánh giá hàng nghìn bài, điều này sẽ dẫn đến việc các khoa trong trường đại học được xếp hạng và tiền công được phân phối. Với số lượng nhiệm vụ khổng lồ trong khi khan hiếm nguồn lực, Daniel Sgroi đã bàn luận về một quy trình đơn giản có thể hữu dụng, dựa trên các phương pháp Bayes mà các nhà kinh tế học nghiên cứu và giảng dạy khi xem xét vấn đề ra quyết định trong điều kiện không chắc chắn.

Dẫn đầu hay bám đuổi: dữ liệu và bảng xếp hạng có vai trò cung cấp thông tin cho các quyết định từ chiến lược thay vì dẫn dắt chúng

Tại Hội thảo về Tương lai của Tác động, Cameron Neylon nêu ý kiến rằng các trường đại học phải tự đặt câu hỏi những nghiên cứu của họ đang được tái sử dụng như thế nào, và tìm cách thành thạo kỹ thuật sử dụng những dữ liệu sẵn có làm cơ sở cho các quyết định. Đã đến lúc cần ngừng sử dụng các bảng xếp hạng một cách mù quáng.

Tác động Round-Up về cách chữa trị do hệ số tác động Mania

Arturo Casadevallvà Ferric C. Fang trình bày các khám phá của họ về nguyên nhân dẫn đến sự ổn định của hệ số tác động Mania  trong số ra mới nhất của tạp chí mBio. Bài viết kĩ lưỡng này đã chỉ ra nhiều vấn đề do hệ số tác động gây ra trong quá trình nghiên cứu khoa học và cũng đã làm rõ những việc mà các nhà khoa học cần phải làm để giải quyết tình trạng đầy nguy cơ này.

Địa lý về các tri thức: những cách thức thực tế để tăng cường khả năng xuất hiện của các nghiên cứu được thực hiện và xuất bản ở miền Nam

Jonathan Harle và Sioux Cumminh thảo luận về cách tăng cường mạng lưới nghiên cứu ở các nước đang phát triển. Vẫn còn một lượng cơ sở nghiên cứu khổng lồ mà đơn giản không bao giờ có thể đếm hết được. Các nghiên cứu được thực hiện và xuất bản ở miền Nam (nước Mỹ) cần được đánh giá đúng mức về các giá trị, và điều này sẽ chỉ xảy ra khi các trường Đại học ở miền Nam đánh giá cao những nghiên cứu này trong hệ thống khen thưởng và phát triển của họ và khi các nhà tài trợ nghiên cứu nhận ra nó trong đơn xin tài trợ mà họ nhận được.

Chúng ta có thể làm tốt hơn nhiều so với việc dựa vào hệ số tác động tự đáp ứng: Các học giả phải khai thác các ý tưởng về sự tương tác để minh hoạ những tác động của chúng.

Các hệ số tác động là sự gửi gắm của thượng đế dành cho những cá nhân làm việc quá sức và mất tập trung, và trong khi Google Scholar sử dụng nhiều biện pháp để xác định tác động của nhà nghiên cứu, Jonathan Becker lập luận rằng chúng ta có thể tiến hành một cách tốt hơn. Ông viết rằng sự cam kết là thước đo tiếp theo mà các học giả phải chinh phục.

Vân An lược dịch

Nguồn

LSE.The Impact Factor and Its Discontents: Reading list on controversies and shortcomings of the Journal Impact Factor.

Lưu ý: Những quan điểm của tác giả không hẳn là quan điểm của Tạp chí Giáo dục