Khung VALOR: Công cụ mới giúp đánh giá chất lượng nghiên cứu trắc lượng thư mục (Bibliometrics)

TS. Hoàng Anh Đức - Đại học RMIT

Trắc lượng thư mục: Công cụ không thể thiếu trong nghiên cứu hiện đại

Trong kỷ nguyên số hóa, việc đánh giá tác động và xu hướng nghiên cứu khoa học đã trở thành một thách thức lớn. Với hàng triệu công trình được xuất bản mỗi năm, câu hỏi đặt ra là: làm thế nào để các nhà nghiên cứu, nhà quản lý khoa học và cơ quan tài trợ có thể nắm bắt bức tranh toàn diện của một lĩnh vực? Trắc lượng thư mục (bibliometrics) chính là câu trả lời – một phương pháp định lượng cho phép phân tích mẫu hình, xu hướng và mức độ ảnh hưởng của các xuất bản khoa học.

Nguồn ảnh: Behance

Trắc lượng thư mục không chỉ đơn thuần là đếm số lượng bài báo hay trích dẫn. Đây là một hệ thống phức tạp, giúp thiết lập “bản đồ tri thức” của từng lĩnh vực: từ xác định tác giả có ảnh hưởng, theo dõi tiến trình phát triển của các chủ đề nghiên cứu, đến phát hiện xu hướng mới nổi và đánh giá hiệu quả hợp tác quốc tế.

Khung nghiên cứu phân tích trắc lượng thư mục (Nguồn: Xiao et al., 2021)

 Thách thức trong đánh giá nghiên cứu trắc lượng thư mục

───────────────────────────────────────────────

❝Nếu không có sự hiểu biết vững chắc về cách đánh giá dữ liệu trắc lượng thư mục, có nguy cơ xảy ra sự diễn giải sai lệch, dẫn đến những kết luận không chính xác về tác động nghiên cứu, chất lượng và xu hướng mới nổi❞

───────────────────────────────────────────────

Cùng với sự phát triển mạnh mẽ của trắc lượng thư mục, việc kiểm chứng chất lượng các nghiên cứu cũng ngày càng trở nên phức tạp. Mặc dù có nhiều hướng dẫn kỹ thuật cho phân tích trắc lượng thư mục, nhưng các khung tham chiếu mang tính hệ thống để đánh giá chất lượng nghiên cứu vẫn còn thiếu: “Sự đa dạng của các nguồn dữ liệu, công cụ phân tích và phương pháp trực quan hóa tạo ra sự phức tạp trong việc đánh giá chất lượng và độ tin cậy của các nghiên cứu trắc lượng thư mục”, TS. Hoàng Anh Đức nhận định. “Nếu không có sự hiểu biết vững chắc về cách đánh giá dữ liệu trắc lượng thư mục, có nguy cơ xảy ra sự diễn giải sai lệch, dẫn đến những kết luận không chính xác về tác động nghiên cứu, chất lượng và xu hướng mới nổi”.

Để giải quyết những thách thức này, nghiên cứu của TS. Hoàng Anh Đức được xuất bản trên tạp chí Evaluation Review đã đưa ra khung tham chiếu VALOR nhằm đánh giá các nghiên cứu bibliometrics một cách có hệ thống, đánh giá dữ liệu đa nguồn, hướng dẫn tích hợp phân tích hiệu suất nghiên cứu và bản đồ khoa học.

Khung VALOR bao gồm 5 cấu thành chính:

(1) Verification (Xác minh): Kiểm tra tính nhất quán của dữ liệu, bao gồm việc xác minh định dạng metadata, phân biệt tên tác giả qua các nền tảng, và chuẩn hóa thông tin cơ sở nghiên cứu

(2) Alignment (Căn chỉnh): Đồng bộ hóa thời gian giữa các cơ sở dữ liệu, xử lý các bài báo xuất bản sớm, và quản lý tần suất cập nhật cơ sở dữ liệu

(3) Logging (Ghi chép): Tài liệu hóa chi tiết các chiến lược tìm kiếm, quy trình làm sạch dữ liệu và các thủ tục tích hợp dữ liệu

(4) Overview (Tổng quan): Xác thực kết quả bằng cách kiểm tra chéo các chỉ số quan trọng và giải thích sự khác biệt giữa các nguồn

(5) Reproducibility (Tái tạo): Cung cấp bộ dữ liệu thô, phương pháp chi tiết và quy trình xử lý dữ liệu từng bước

Đồng thời, nghiên cứu cũng cung cấp hướng dẫn thực tiễn toàn diện để tích hợp hai thành phần cốt lõi của trắc lượng thư mục. Sự tích hợp này không đơn thuần là kết hợp cơ học, mà là một quá trình tổng hợp phức tạp, tạo ra những giá trị phân tích mà từng phương pháp riêng lẻ khó có thể đạt được.

───────────────────────────────────────────────

❝Khái niệm “tác giả cầu nối” cho thấy ảnh hưởng khoa học không chỉ đo bằng số lần trích dẫn, mà còn ở vai trò kết nối và lan tỏa tri thức giữa các cộng đồng nghiên cứu❞

───────────────────────────────────────────────

Một trong những đóng góp đáng chú ý là hướng dẫn đánh giá ảnh hưởng của tác giả từ nhiều góc độ. Kết quả chỉ ra rằng, một học giả có thể đạt thứ hạng cao về số lần trích dẫn nhưng lại giữ vị trí ngoại vi trong mạng lưới hợp tác. Điều này phản ánh một dạng ảnh hưởng khác biệt so với những người vừa có số trích dẫn cao vừa giữ vai trò trung tâm trong các quan hệ hợp tác khoa học. Đặc biệt, khái niệm “tác giả cầu nối” được nhấn mạnh: đó là những học giả tuy không dẫn đầu về số trích dẫn nhưng đóng vai trò quan trọng trong việc kết nối các cụm nghiên cứu, tạo điều kiện cho sự lan tỏa và trao đổi tri thức giữa các nhánh nhỏ của một lĩnh vực.

Nguồn ảnh: Behance

Bên cạnh đó, nghiên cứu còn đề xuất phương pháp xác thực chéo xu hướng nghiên cứu thông qua việc kết hợp chỉ số hiệu suất với bản đồ khoa học. Khi các bài báo có số trích dẫn cao trùng khớp với các nút chính trong mạng lưới đồng trích dẫn, sự hội tụ này củng cố việc nhận diện các chủ đề nghiên cứu trọng tâm. Ngược lại, các chủ đề mới nổi thường thể hiện qua sự tăng trưởng đồng thời của số lượng công bố và trích dẫn liên quan, qua đó hình thành một bức tranh nhất quán về sự phát triển của lĩnh vực.

Về phân bổ địa lý và cơ quan chủ quản, việc tổng hợp các chỉ số hiệu suất và mạng lưới hợp tác tiết lộ những mẫu hình phức tạp về cách các cơ sở nghiên cứu và khu vực định hình sự phát triển nghiên cứu. Các cơ sở nghiên cứu có hiệu suất cao nên thể hiện vị trí có ý nghĩa trong mạng lưới hợp tác, mặc dù bản chất của những vị trí này có thể thay đổi dựa trên trọng tâm và nguồn lực của cơ sở nghiên cứu. Phân tích tích hợp này đặc biệt có giá trị trong việc hiểu sự chênh lệch trích dẫn theo khu vực, thường phản ánh những tương tác phức tạp giữa cơ hội hợp tác, tính sẵn có của nguồn lực và truyền thống nghiên cứu lịch sử.

───────────────────────────────────────────

❝Sự đa dạng của các nguồn dữ liệu, công cụ phân tích và phương pháp trực quan hóa khiến việc đảm bảo chất lượng và độ tin cậy của nghiên cứu trắc lượng thư mục trở thành một thách thức❞ 

───────────────────────────────────────────

Hướng dẫn thực tiễn cho các chuyên gia bình duyệt và độc giả

Nghiên cứu của TS. Hoàng Anh Đức không chỉ dừng lại ở khung lý thuyết mà còn đưa ra những hướng dẫn cụ thể, có tính ứng dụng cao cho cả tác giả lẫn chuyên gia bình duyệt.

Trước hết, việc xác định mục tiêu và phạm vi nghiên cứu là bước khởi đầu then chốt. Một phân tích trắc lượng thư mục chất lượng phải có mục tiêu rõ ràng, cụ thể và khả thi, thay vì mơ hồ hoặc quá rộng. Các mục tiêu này cần tập trung vào những khía cạnh có thể đo lường, chẳng hạn như nhận diện các tác giả có ảnh hưởng, phân tích xu hướng xuất bản, mẫu hình trích dẫn hoặc cấu trúc mạng lưới hợp tác khoa học.

Tiếp theo, nghiên cứu nhấn mạnh tầm quan trọng của quy trình làm sạch dữ liệu theo chuẩn PRISMA. Tác giả đã xây dựng một bảng câu hỏi toàn diện để đánh giá từng giai đoạn, từ việc lựa chọn từ khóa, thiết lập chuỗi Boolean đến khâu sàng lọc và đánh giá tính phù hợp. Trong đó, các tiêu chí như lý do lựa chọn từ khóa, cách sử dụng ký tự đại diện để bao quát biến thể ngôn ngữ (Anh – Anh, Anh – Mỹ) hay nguyên tắc loại bỏ và giữ lại tài liệu đều cần được giải thích minh bạch.

Đối với các nghiên cứu sử dụng nhiều nguồn dữ liệu, thách thức trở nên phức tạp hơn. Sự khác biệt trong phạm vi bao phủ tạp chí và bài báo giữa các cơ sở dữ liệu lớn có thể ảnh hưởng trực tiếp đến tính toàn diện của phân tích. Do vậy, các tác giả cần lý giải rõ ràng mục đích lựa chọn nhiều nguồn, đồng thời trình bày chiến lược tích hợp dữ liệu một cách hợp lý. Người bình duyệt và độc giả có thể dựa vào đó để đánh giá liệu nghiên cứu đã xử lý thỏa đáng những vấn đề như sự khác biệt về phạm vi, định dạng tên tác giả hay sự thiếu nhất quán trong liên kết cơ sở nghiên cứu hay chưa.

Cuối cùng, nghiên cứu cũng chỉ ra rằng việc sử dụng đa dạng công cụ trắc lượng thư mục mang lại cả cơ hội và thách thức. Mỗi công cụ thường vận dụng thuật toán và kỹ thuật trực quan hóa khác nhau, dẫn đến sự khác biệt trong cách diễn giải dữ liệu. Do đó, các tác giả nên minh bạch về lý do lựa chọn công cụ cho từng loại phân tích và giải thích cách các kết quả có thể bổ sung cho nhau. Chẳng hạn, VOSviewer hữu ích trong trực quan hóa mạng lưới, Bibliometrix phù hợp cho phân tích thống kê, trong khi CiteSpace có thế mạnh ở phân tích tiến hóa theo thời gian.

Thách thức và hướng phát triển tương lai

Nghiên cứu đã xác định rõ ba thách thức lớn trong lĩnh vực trắc lượng thư mục hiện nay. Thứ nhất là hạn chế về nguồn dữ liệu, thể hiện qua sự khác biệt trong phạm vi bao phủ và chính sách lập chỉ mục giữa các cơ sở dữ liệu lớn như Web of Science, Scopus và Google Scholar. Mỗi cơ sở dữ liệu đều có ưu điểm và hạn chế riêng, ảnh hưởng trực tiếp đến tính toàn diện của phân tích. Thứ hai là động lực trích dẫn, với sự gia tăng nhanh chóng của sản lượng nghiên cứu toàn cầu dẫn đến hiện tượng lạm phát trích dẫn, cùng với sự khác biệt trong hành vi trích dẫn giữa các lĩnh vực khoa học. Thứ ba là khó khăn trong đánh giá nghiên cứu liên ngành, khi các phương pháp phân tích truyền thống vốn thiết kế cho chuyên ngành cụ thể chưa đủ khả năng phản ánh đầy đủ tác động của những công trình vượt qua ranh giới kỷ luật.

───────────────────────────────────────────

❝Ứng dụng trí tuệ nhân tạo và học máy mở ra khả năng mới cho trắc lượng thư mục, từ việc cải thiện trích xuất từ khóa đến lập bản đồ mạng lưới và phát hiện xu hướng nghiên cứu theo thời gian thực❞ 

───────────────────────────────────────────

Về hướng phát triển tương lai, nghiên cứu đề xuất một số định hướng tiềm năng. Một trong số đó là tích hợp phân tích định tính với dữ liệu trắc lượng thư mục định lượng, thông qua việc kết hợp phỏng vấn chuyên gia, nghiên cứu tình huống hoặc phân tích nội dung, từ đó tạo ra cái nhìn phong phú hơn về động lực phát triển khoa học. Bên cạnh đó, ứng dụng trí tuệ nhân tạo và học máy hứa hẹn mang lại những khả năng mới, đặc biệt trong việc nâng cao hiệu quả trích xuất từ khóa, lập bản đồ mạng lưới, cũng như phát hiện xu hướng mới và sự thay đổi chủ đề trong thời gian thực.

Một hướng đi quan trọng khác là phát triển các chỉ số chuẩn hóa theo từng lĩnh vực, nhằm giải quyết sự khác biệt trong thực hành trích dẫn và hợp tác khoa học giữa các ngành. Việc này không chỉ giúp phản ánh chính xác hơn tác động và ảnh hưởng của nghiên cứu trong từng lĩnh vực cụ thể mà còn đảm bảo tính công bằng khi so sánh giữa các ngành khác nhau.

Đối với cộng đồng khoa học Việt Nam, những gợi ý này mang ý nghĩa đặc biệt. Trong bối cảnh quốc gia đang nỗ lực nâng cao chất lượng nghiên cứu và tăng cường vị thế quốc tế, việc hiểu và vận dụng đúng phương pháp trắc lượng thư mục sẽ hỗ trợ quá trình đánh giá khách quan năng lực khoa học, đồng thời giúp nhận diện các lĩnh vực ưu tiên hợp tác quốc tế. Việc áp dụng khung VALOR còn có thể mang lại lợi ích thiết thực trong đánh giá các báo cáo nghiên cứu quốc gia, giúp cơ quan quản lý khoa học có cái nhìn toàn diện hơn về thực trạng nghiên cứu trong nước. Điều này càng trở nên quan trọng khi Việt Nam đang tập trung nguồn lực cho các chương trình nghiên cứu trọng điểm và cần công cụ khoa học để đo lường hiệu quả đầu tư.

Tài liệu thảm khảo:

Hoang, A.-D. (2025). Evaluating Bibliometrics Reviews: A Practical Guide for Peer Review and Critical Reading, Evaluation Review. https://doi.org/10.1177/0193841X251336839

Xiao, Y., Wu, H., Wang, G., & Mei, H. (2021b). Mapping the Worldwide Trends on Energy Poverty Research: A Bibliometric Analysis (1999–2019). International Journal of Environmental Research and Public Health, 18(4), 1764. https://doi.org/10.3390/ijerph18041764