Sunday, June 21, 2009

Xếp hạng tạp chí khoa học

Bài này của Engemann và Wall trên Fed St. Louis Review (đọc qua blog của Mankiw) đưa ra một cách xếp hạng tương đối đơn giản các tạp chí khoa học kinh tế: Cũng là đếm số lần trích dẫn, nhưng chỉ đếm số lần trích trên các tạp chí kinh tế mục đích chung, chứ không đếm trích dẫn trên các tạp chí chuyên ngành cụ thể. Các tác giả đề xuất luôn những tạp chí mục đích chung hàng đầu để tính trích dẫn, bao gồm QJE, JPE, EM, AER, EJ, REStud, REStat. Cách tính này gọi là xếp hạng cho nhà kinh tế có tham vọng, tức là nhà kinh tế mong muốn bài viết của mình có ảnh hưởng lên cả các tạp chí mục đích chung, chứ không chỉ dừng ở trong lĩnh vực nhỏ của mình.

Bài viết có điểm qua các đề xuất trước đây về việc xếp hạng tạp chí, do các nhà kinh tế học cũng như các nhà khoa học khác đưa ra, và có phân tích ngắn gọn về đặc tính của chúng. Ví dụ, chỉ số H (H-index) mà tôi thấy các nhà khoa học thường dùng, tuy là đơn giản dễ tính, song lại có nhiều lỗ hổng dễ tạo nên sự thiên lệch không hợp lý. Có một chỉ số do Liewbowitz & Palmer đưa ra tính đến hầu hết các điểm khác biệt, nhưng khi đó hệ thống xếp hạng là lời giải của một bài toán hồi quy phức tạp, nên hệ thống này như một "hộp tối" mà người ta không nắm rõ cơ chế hoạt động.

Điểm thú vị về cách xếp hạng mới này, chính là kết quả của nó rất ổn định với top 5 (QJE, JPE, EM, AER, REStud). Tôi nghĩ là người ta tương đối thống nhất về top 5 tạp chí hàng đầu kinh tế, tuy vậy theo nhiều bảng xếp hạng thì top 5 không rõ ràng lắm. Trên bảng xếp hạng này, top 5 rất rõ và chắc chắn; theo tôi, có thể dùng điểm này làm thước đo cho độ tin cậy của bảng xếp hạng đối với phần còn lại. Tất nhiên, nếu chúng ta muốn so sánh từ góc độ khác, thì không hẳn đã nên dùng bảng xếp hạng này: chính các tác giả cũng cảnh báo như vậy.

Update: Giải thích rõ hơn một chút tên viết tắt:
- QJE = Quarterly Journal of Economics
- JPE = Journal of Political Economy
- EM = Econometrica
- AER = American Economic Review
- REStud = Review of Economic Studies.
Theo những gì tôi biết, có thể nói xếp về mặt danh tiếng (những gì người trong nghề coi trọng, không nhất thiết đo đạt bằng chỉ số khách quan được) thì 5 tờ báo này hiện thuộc về hạng hàng đầu trong kinh tế học. Tuy vậy, trên mỗi tờ báo thì các loại bài khác nhau có thể được đánh giá khác nhau. Ví dụ đối với QJE là "sân nhà" của Harvard và MIT, JPE là "sân nhà" của Chicago, thì có người nghĩ bài của gà nhà dễ được thiên vị. Bài trên EM mà không phải micro theory, không phải econometrics, thì được đánh giá cao một bậc nữa. REStud là tờ báo hàng đầu châu Âu (trụ sở ở Anh), tuy vậy hiện giờ Hội Kinh tế học Châu Âu mới mở tờ JEEA (Journal of the European Economic Association) với tham vọng vươn lên tầm hàng đầu như 5 tờ báo này. Trước đây Hội này quản lý tờ EER (European Economic Review), nhưng vì quản lý chung với nhà xuất bản, làm không cẩn thận, nên chất lượng làng nhàng, nhiều loại bài khác nhau.

9 comments:

  1. Bạn Q.A với bạn Mankiw rất thiên vị đấy nhé. QJE của Harvard nên nhất định phải tìm bài báo xếp hạng đầu tiên. Trong khi hôm trước chị đọc 1 bài xếp Econometrica lên trên cùng cơ. :-)

    Nkd

    ReplyDelete
  2. QA hình như cũng có một bài sẽ được in trên QJE phải không, bao giờ in thế?

    ReplyDelete
  3. Hì hì có thể hơi có selection bias một tẹo. Nhưng em trích bài này vì (i) phương pháp tính đơn giản mà cảm thấy khá hợp lý đối với mục tiêu của tác giả, (ii) kết quả khá hợp lý so với dự đoán của phần lớn người trong nghề, và (iii) kết quả tương đối chắc chắn nếu thay đổi một chút giả thiết. Đối với việc so sánh xếp hạng thì các yếu tố này tương đối quan trọng. Hơn nữa, bài này cũng có review lại một số cách tính khác, cũng đáng xem.

    Trong thời gian gần đây có nhiều thảo luận về việc tuyển chọn Hội đồng Giáo sư Việt Nam, trong đó việc công bố ở tạp chí nước ngoài trở nên quan trọng hơn, nên em đăng thêm một chút về cách xếp hạng tạp chí kinh tế.

    @Bác Linh: vâng, em có bài QJE, số cuối năm nay. Nếu không có subscription thì bác có thể vào website của em đọc.

    ReplyDelete
  4. To mo` ti' :-), may cai nay la viet tat cua gi the ? Em chi biet co':
    QJE = Quaterly Journal of Economics (1)
    JPE = Journal of Political Economy (2)

    EM thi chac la Econometrica ? (3)
    REStud = Review of Economic Studies ? (4)
    AER thi la gi a ?
    Em tuong (1), (2), (3) la chieu tren ?
    Quang

    ReplyDelete
  5. AER= American Economic Review

    ReplyDelete
  6. Cach xep hang nay chi mang tinh tham khao la chinh. Nhin qua bang xep hang thay Journal of Economic Growth nam trong top ten, thay co gi khong on roi. Cach day may nam co mot bai tren tap chi JEER xe hang cap tap chi kinh te theo danh gia (perception) cua cac nha kinh te hoc. Ket qua la 1. AER, 2. EMCA, 3. JPE, 4. QJE Hau het cac giao su tai cac truong dai hoc cung dong y voi cach xep hang nay. Mot trong nhung diem manh cua QJE la thoi gian turn around nhanh hon cac tap chi khac. Co le do la mot trong nhung ly do QJE co nhieu citation hon.

    ReplyDelete
  7. Tôi không hiểu comment trên đây của bạn Khuyết danh lắm. Nói về tính tham khảo, thì xếp hạng nào cũng thế, vì xếp hạng bao giờ cũng là việc chuyển hóa rất nhiều yếu tố dữ liệu về một cơ sở duy nhất, và như thế sẽ đánh mất nhiều thông tin, nên khó có cách xếp hạng mà ai cũng đồng ý. JEG tuy là tạp chí mới, song nhờ có editor làm việc tốt nên xây dựng uy tín rất nhanh, và bài trên đó khá nổi tiếng. Tôi không nghĩ là JEG thua kém gì JEL nhiều, mà JEL thì chắc chắn là top 10 được. Tôi không rõ JEER là tạp chí nào, tuy vậy, đánh giá qua nhận xét chủ quan thì khó thuyết phục được các nhà kinh tế học. Hơn nữa, trong danh sách top 5 (top 5 chứ không phải top 4) rất khó so sánh với nhau. Chẳng hạn, EMCA có lẽ thuộc về một hạng riêng, nhất là nếu xem những bài trên EMCA mà không phải là micro theory hay econometric theory, nhưng so về citation thì cũng ngang ngang như nhiều báo hàng đầu. Tôi cũng không tin lắm vào nhận xét rằng hầu hết các giáo sư tại các trường đại học cũng đồng ý với cách xếp hạng này: nó hoàn toàn khác với hiểu biết của tôi. Cuối cùng, về QJE, đúng là turn around nhanh hơn, nhưng như thế thì hoàn toàn không ảnh hưởng gì đến citation cả, vì citation vẫn tính từ lúc bài được đăng chính thức. Turn around time ngắn hơn thì có thể còn có ảnh hưởng xấu đến citation nữa chứ. Có nhiều phê bình về cách editor của QJE xử lý bài báo, nhưng phần nhiều là về những bài bị từ chối (từ chối quá nhanh, không qua referee, vv.), hoặc là về home bias (JPE cũng có số phận tương tự), tuy vậy, tôi không nghĩ là các yếu tố này có thể đẩy số citation lên được.

    ReplyDelete
  8. Rất vui khi được trao đổi cùng QA. Đây là bài trong JEEA (lần trước typo thành JEER):

    http://papers.ssrn.com/sol3/papers.cfm?abstract_id=379120

    Bài này trình bày kết quả ranking dựa trên nhận xét của các nhà kinh tế học là thành viên của AEA. Các tác giả cũng xây dựng một chỉ số làm căn cứ cho ranking. Có sự khác biệt trong sự đánh giá về chất lượng của các nhà kinh tế học châu Âu và Mỹ. Tương tự như vậy giáo sư ở các trờng khác nhau cũng nhận xét như vậy. Nhưng rất nhiều người có nhận xét chung là AER à EMCA là hai tạp chí hàng đầu kế đến là QJE và JPE. ReStud gần đây nổi lên như là một tong những top 5. Tuy nhiên trước đó (năm 2000 trở về trước) JET được xếp hạng cao hơn trong hầu hết các cách xếp hạng.

    Về JEG tuy chất lượng các bài tương đối tốt nhưng còn quá sớm để đánh giá mức độ tác động của nó với kinh tế học. Trong tương lai JEG có thể là một top field journal.

    Nói về citation hiện nay đa số các bài viết tốt được trích dẫn nhiều ngay cả khi chúng được còn ở dạng working papers. Thời gian từ khi ỏ dạng wp đến khi xuât bản càng lâu, càng có nhiều citation không được tính đến theo cách xếp hạng của bài báo mà QA đưa ra.

    ReplyDelete
  9. Cảm ơn bác Khuyết Danh đã giới thiệu bài này, tôi sẽ đọc thêm. Về Restud, tôi vẫn nghĩ là tạp chí hàng đầu Châu Âu từ lâu (không biết tương lai thì có cạnh tranh nhiều với JEEA không) - có những mảng lý thuyết quan trọng đăng ở đây từ những năm 1970.

    Thống kê trích dẫn trên RePec có gộp các bản working papers vào chung một nhóm với bài được đăng. Tôi không rõ là cách tính citation trên đó có gộp chung vào không.

    Về lợi ích của turnaround time ngắn: xét trường hợp bài C ở tạp chí E trích dẫn bài A ở tạp chí Q turnaround nhanh, và trích bài B trên tạp chí J turnaround chậm. Như thế thì chỉ tạo ra chênh lệch khi mà ở thời điểm C được đăng trên E, thì A đã được đăng, còn B vẫn đang chờ. Nếu C đăng chậm hơn B, thì cũng không có chênh lệch gì. Vì thế, tôi nghĩ là độ chênh lệch do ảnh hưởng của vấn đề turnaround time khác nhau ở mức tương đối nhỏ.

    ReplyDelete