Quan hệ nhân quả và sự phức tạp của trong đánh giá về tác động của nghiên cứu

Là một phần của quy trình đánh giá REF, các nhà nghiên cứu hoạt động trong các lĩnh vực STEM (khoa học - công nghệ - kỹ thuật - toán học) và SSH (khoa học xã hội và nhân văn) được yêu cầu viết về tác động của các nghiên cứu của họ theo một mẫu chung. Dựa trên các phân tích trên khía cạnh ngôn ngữ trong các đánh giá về tác động của nghiên cứu khoa học REF Impact từ năm 2014, nhà nghiên cứu Andrea Bonaccorsi nêu bật những điểm khác biệt chính giữa các đánh giá được các học giả trong lĩnh vực STEM và SSH đưa ra và cho rằng, sự khác biệt nhân-quả về tác động của các nghiên cứu giữa các lĩnh vực đòi hỏi cần thiết phải xem xét lại quy trình đánh giá này.

Các nhà nghiên cứu hiện nay ngày càng được yêu cầu phải chứng minh rằng nghiên cứu của họ đã có tác động đến xã hội như thế nào. Vậy họ sẽ phải làm thế nào để cuối cùng có thể tự tin tuyên bố khẳng định rằng “nghiên cứu của tôi thực sự đã tạo ra tác động tới xã hội”?

Họ sẽ cần phải làm hai việc quan trọng: đưa ra các các tuyên bố về ‘mức độ tác động’ của nghiên cứu trong lịch sử và những lập luận mang tính chất ‘nhân quả’ cho tuyên bố đó của mình. Điều này đặt ra những thách thức nghiêm trọng cho các nhà nghiên cứu thuộc lĩnh vực Khoa học Xã hội và Nhân văn (SSH), như kết quả nghiên cứu của chúng tôi đã chỉ ra.

Những công bố về mức độ tác động trên khía cạnh lịch sử là một loại công bố đặc biệt, bởi vì không có cách nào để đảm bảo và kiểm soát tính xác thực của chúng. Bạn có thể kiểm soát (ở một mức độ nhất định) sự thật của một nghiên cứu thử nghiệm, bằng cách cố gắng tái tạo các điều kiện ban đầu và các phương pháp tiến hành thử nghiệm đó. Nếu bạn là một nhà khoa học, thì ngay cả khi bạn không thực sự tái tạo thử nghiệm, bạn vẫn có thể kiểm tra tính xác thực của nó trên nguyên tắc. Vì lý do này, tuyên bố do một nhà khoa học đưa ra thường được người đọc chấp nhận. Nếu một nhà khoa học nói: A tạo ra B, chúng ta có xu hướng tin rằng mối quan hệ nhân quả này có thể xác thực và không cần kiểm tra lại nữa.

Nhưng còn những tuyên bố về mức độ tác động ‘trong lịch sử’ thì sao? Nếu bạn nói: A tạo ra B trong quá khứ, thì phải làm thế nào để xác thực điều đó? Không có cách nào để tái tạo lại các điều kiện của một thời kỳ lịch sử. Không có cách nào để kiểm soát trực tiếp thử nghiệm đó. Chúng tôi buộc phải tin rằng bạn đang sử dụng kiến ​​thức, hiểu biết tốt nhất về quá khứ để xây dựng lập luận nhân quả của bạn. Nói một cách ngắn gọn: bạn cần phải là một nhà khoa học đáng tin cậy.

Và bây giờ lại nảy sinh một vấn đề khác. Nếu một tuyên bố ‘lịch sử’ được đưa ra bởi một nhà khoa học, chúng ta thường có xu hướng tin chúng bởi đó có vẻ là một hiện tượng xảy ra thường xuyên mà chúng ta có thể kiểm soát được. Đó là một tuyên bố đáng tin cậy. Nếu một nhà khoa học khẳng định rằng: Tôi đã phát hiện ra một phân tử và phân tử này có tác động đến một loại thuốc mới, thì chúng ta có xu hướng tin vào tuyên bố này, bởi vì những người có chuyên môn trong lĩnh vực này có thể dễ dàng kiểm soát tính hợp lệ của nó. Nếu tôi biết rằng bạn có thể kiểm soát tính xác thực của tuyên bố mà tôi đưa ra, thì đương nhiên tôi sẽ có sự ràng buộc rằng phải nói ra sự thật. Tuy nhiên, điều này không hẳn là đúng với các nhà nghiên cứu và tác động của các nghiên cứu thuộc lĩnh vực Khoa học Xã hội và Nhân văn.

Trong một bài báo gần đây tôi đồng tác giả cùng với Nicola Melluso, Filippo Chiarello và Gualtiero Fantoni, chúng tôi đã kết hợp hai ý tưởng tưởng như rất xa vời. Bắt đầu, chúng tôi xem lại cuộc tranh luận (trở lại với Carl Hempel) trong triết học phân tích lịch sử về cách các nhà sử học xây dựng các tuyên bố về quan hệ nhân quả trong câu chuyện của họ. Sau đó, chúng tôi phát triển một mô hình về độ tin cậy của các tuyên bố về tác động của nghiên cứu trong các lĩnh vực khác nhau, so sánh giữa STEM và SSH. Sau đó, chúng tôi đã sử dụng một kỹ thuật gọi là Siêu đồ thị ngữ nghĩa, do Telmo Menezes và Camille Roth mới đưa ra gần đây , để kiểm tra các báo cáo tác động của Khuôn khổ Nghiên cứu Xuất sắc của Vương quốc Anh (REF). Siêu đồ thị ngữ nghĩa là một công cụ rất mạnh mẽ vì kỹ thuật này cho phép xử lý tự động toàn bộ các câu trong một văn bản, không phải các từ riêng lẻ.

Kết quả nghiên cứu của chúng tôi

Đầu tiên, chúng tôi nhận thấy các nhà nghiên cứu thuộc lĩnh vực khoa học xã hội và nhân văn (SSH) không khác với các đồng nghiệp hoạt động trong lĩnh vực STEM trong việc nỗ lực xây dựng các tuyên bố về tác động của nghiên cứu một cách có ý nghĩa nhân quả. Những bản tuyên bố này sử dụng cùng một cấu trúc ngữ nghĩa, cùng một tập hợp các cách diễn đạt bằng lời nói có tác động và không tác động. Điều này có thể hiểu được: đánh giá REF yêu cầu các nhà nghiên cứu chứng minh mức độ tác động, và việc của họ là phải cố gắng thuyết phục những người đánh giá.

Nhưng, điều thứ hai và cũng là điều đáng ngạc nhiên ở đây là: các nhà nghiên cứu SSH sử dụng gấp đôi số lượng các từ biểu thị các tác nhân của quá trình tác động (Hình 1). Ở đây chúng tôi sử dụng từ ‘tác nhân’ để nói đến các thực thể danh nghĩa dễ nhận biết (ví dụ: thể chất, pháp nhân, nhóm xã hội) truyền tải ý nghĩa về những tác động bằng lời nói hoặc các động từ ngụ ý tác động như một sự thay đổi trạng thái. Có đến 41.248 tác nhân được đề cập trong các báo cáo của SSH, trong khi đó, ở các báo cáo STEM, chỉ có 27.585 tác nhân như vậy. Điều này có nghĩa là chuỗi nhân quả trong các nghiên cứu SSH dài hơn và liên quan đến nhiều thực thể hơn. Để chứng minh rằng nghiên cứu của bạn, chẳng hạn như Khảo cổ học, đã tạo ra tác động xã hội, bạn phải huy động một danh sách dài những người, từ các nhà quản lý thành phố đến các văn phòng chính phủ, từ các tổ chức từ thiện đến giới truyền thông, tham gia đánh giá. Hoặc, giả sử, nếu bạn muốn chứng minh rằng nghiên cứu của bạn trong lĩnh vực Xã hội học đã tạo ra tác động đến các quy định pháp luật về nhập cư, bạn phải thể hiện một chuỗi dài các sự kiện, liên kết sự phổ biến của các nghiên cứu của bạn với danh tiếng học thuật của bạn và cơ quan chủ quản, các tổ chức hoạt động, dư luận, các đảng phái chính trị, cơ quan lập pháp, cơ quan quốc hội. Và đây thực ra lại là một mối đe dọa nghiêm trọng đối với sự liên kết nhân-quả của chính nghiên cứu đó, bởi vì theo các nhà triết học phân tích về lịch sử, chuỗi nhân quả dài hơn thì mong manh hơn. Tại mỗi nút của cuộc tranh luận, một người bất kỳ nào đó có thể phản biện rằng nghiên cứu của bạn không thực sự tạo ra sự khác biệt, mà là một yếu tố nào đó khác. “Có thể một điều luật tương tự cũng sẽ được ban hành dù không có nghiên cứu của bạn” hay một lập luận nào đó kiểu như vậy.

Biểu đồ: Tần suất trung bình xuất hiện các tác nhân trong các “tuyên bố tác động” sau khi phân tích Siêu đồ thị ngữ nghĩa.

Điều này không xảy ra trong lĩnh vực STEM. Đối với các kỹ sư, có thể dễ dàng nhận thấy các bằng sáng chế của các nhà nghiên cứu đã được các công ty công nghiệp đón nhận và triển khai như thế nào. Đối với các nhà nghiên cứu y tế, chúng tôi biết nghiên cứu tiền lâm sàng và lâm sàng được sử dụng như thế nào để phát triển các phương pháp điều trị mới. Nói cách khác, sự tác động của các nghiên cứu STEM thường đã được chuẩn hóa hơn và có thể lặp lại.

Theo thuật ngữ nhận thức luận, các nhà khoa học thuộc lĩnh vực STEM thường xuyên làm việc với suy luận nhân quả thuận chiều hơn, tức là sự chuyển đổi từ nguyên nhân này đến ảnh hưởng của nó, kiểm soát tất cả các điều kiện xảy ra sự kiện (chẳng hạn như “điều gì xảy ra trong chất lỏng nếu chúng ta tăng áp suất?”). Ngược lại, các nhà nghiên cứu thuộc lĩnh vực SSH thường làm việc theo cách khác, đó là sử dụng suy luận nhân quả ngược chiều (“nguyên nhân của Chiến tranh thế giới thứ nhất là gì?”, hoặc “làm thế nào Picasso ‘thai nghén’ ý tưởng về tác phẩm Guernica?”, hoặc “ai có khả năng là tác giả của bản thảo chưa được xuất bản này?”). Tức là có kết quả rồi mới suy luận ngược lại nguyên nhân xảy ra nó. Trong những trường hợp này thường có nhiều yếu tố nguyên nhân tiềm ẩn, đòi hỏi nhà nghiên cứu phải xác định được và kiểm tra chúng thật kỹ lưỡng. Các kết luận của lĩnh vực khoa học xã hội và nhân văn thường không có dạng một tuyên bố giống như luật, mà là những tuyên bố mang tính tình tiết cao. Đừng nhầm lẫn: điều này hoàn toàn không có nghĩa là những tuyên bố này kém chặt chẽ hơn, chỉ đơn giản là chúng khác nhau.

Nhưng, một trong những hậu quả không như ý của vấn đề này là những tuyên bố của các nhà nghiên cứu STEM về tác động của các nghiên cứu của họ thường có độ tin cậy cao hơn của các nhà nghiên cứu khoa học xã hội và nhân văn. Điều này trông giống như một lợi thế không công bằng. Để giải quyết vấn đề này, các nhà nghiên cứu SSH đã phát triển một vài chiến thuật. Một là thể chế hóa các quá trình tác động (ví dụ như, điều trần trong các thủ tục lập pháp chính thức hoặc vai trò cố vấn chính thức): họ đặt nghiên cứu của mình vào một bối cảnh tương tự như các lộ trình có cấu trúc chặt chẽ như của các đồng nghiệp trong lĩnh vực STEM. Một yếu tố khác là tính chọn lọc: họ sẽ mô tả việc các nghiên cứu của họ đã được chọn lựa để áp dụng, so với nhiều nghiên cứu khác tương tự khác đang cạnh tranh với họ - điều này ngầm gợi ý rằng, nếu mọi người chọn sử dụng nghiên cứu của bạn, thì hẳn nó phải có giá trị lớn. Liên quan chặt chẽ với nhau là sự lặp lại: nếu một nhà nghiên cứu được mời nhiều lần để thuyết trình tại các cuộc hội thảo, hoặc các buổi đào tạo, chúng ta sẽ ngầm khẳng định rằng kết quả của nghiên cứu của tác giả đó có tác động đến những người mời anh/cô ta.

Tuy nhiên, vấn đề cơ bản vẫn là: do nhận thức luận của hai nhóm lĩnh vực STEM và SSH không giống nhau, nên việc yêu cầu các nhà nghiên cứu chứng minh tác động theo cách giống nhau là sai. Khi các hệ thống đánh giá nghiên cứu như REF đang diễn ra và kết quả của chúng được phản ánh, có lẽ chúng ta nên suy nghĩ lại về giả định này.

Vân An dịch

Nguồn

Andrea Bonaccors (2021). Causality and complexity in impact statements: Is it time to rethink a one-size-fits-all approach to writing about impact?. The London school of Economics and Political Sciences.

Ghi chú: Những quan điểm của tác giả không hẳn là quan điểm của Tạp chí Giáo dục.