Kiến thức nghiên cứu
Trending

Đánh giá chất lượng tạp chí nghiên cứu khoa học quốc tế qua chỉ số Citescore

Để đánh giá chất lượng tạp chí nghiên cứu khoa học quốc tế, ngoài hệ số ảnh hưởng JIF và các bảng xếp hạng tạp chí nổi tiếng thì chỉ số Citescore cũng được xem là một trong những thước đo uy tín được nhiều nhà xuất bản, chuyên gia, nhà nghiên cứu tin dùng.

Do đó bài viết dưới đây sẽ cung cấp những thông tin cập nhật, những góc nhìn mới mẻ, và những hạn chế của chỉ số Citescore cũng như so sánh điểm khác biệt giữa hệ số ảnh hưởng JIF và chỉ số Citescore trong đánh giá chất lượng tạp chí nghiên cứu khoa học quốc tế.

Chỉ số CiteScore

Giới thiệu chung về chỉ số CiteScore

Từ những năm 2010, Elsevier đã sử dụng Source Normalised Impact per Paper (SNIP) và Scimago Journal Rank (SJR) để “đo” chất lượng của một ấn phẩm thuộc Scopus. Tuy nhiên, phương pháp tính của hai chỉ số này đều được đánh giá là quá phức tạp, khó minh bạch và khó nhân rộng cho toàn bộ các ấn phẩm của Scopus, lại thêm rất nhiều những hạn chế tương tự như JIF [1].

Đó là lý do tại sao CiteScore được Elsevier đưa vào hệ thống của Scopus năm 2016 nhằm khắc phục những hạn chế của hai phương pháp trước đó và đưa ra hệ số chuẩn hơn để đánh giá mức độ ảnh hưởng của các tạp chí, sách, kỷ yếu hội nghị và cả các tập san thương mại thuộc Scopus [2]. Do đó, nhắc đến các chỉ số của một ấn phẩm thuộc Scopus, các nhà nghiên cứu sẽ quan tâm đầu tiên là CiteScore của ấn phẩm đó.

Mặc dù vậy, trên website chính thức của Scopus hiện nay, bên cạnh CiteScore, thông tin về Source Normalised Impact per Paper (SNIP) và Scimago Journal Rank (SJR) vẫn hiển thị như những chỉ số tham khảo để người đọc hoặc các đơn vị quan tâm có cái nhìn khách quan và rộng hơn đối với một ấn phẩm của Scopus.

Khái niệm chỉ số CiteScore

Elsevier đã định nghĩa chỉ số CiteScore của ấn phẩm A vào năm B được tính bằng số lượt trích dẫn của tất cả các bài viết thuộc A xuất bản trong vòng ba năm trước đó chia cho tổng số bài viết được xuất bản trên A trong cùng khoảng thời gian trên [3].

Tuy nhiên, qua quá trình tính toán, ứng dụng và lắng nghe những góp ý từ nhiều tổ chức, đơn vị cùng các chuyên gia, nhận thấy những hạn chế của hệ số này, Elsevier đã giới thiệu công thức tính toán mới cho CiteScore kể từ 2019.

Theo đó, các số liệu đều được tính tới thời điểm xác định CiteScore (tức 4 năm) thay vì chỉ tính 3 năm trước đó và tài liệu cũng như lượt trích dẫn chỉ được tính cho tài liệu có qua phản biện thay vì tất cả các tài liệu như công thức cũ. Công thức này đã được Elsevier tái hiện cho năm 2019 như hình 1 [4].

Hình 1. Công thức tính mới cho chỉ số CiteScore 2019 [4]
Hình 1. Công thức tính mới cho chỉ số CiteScore 2019 [4]
Để đảm bảo tính nhất quán cũng như phân tích xu hướng chính xác, Elsevier đã cung cấp số liệu Citescore bằng công thức mới cho toàn bộ giai đoạn từ 2011 tới nay [4]. Nhờ vậy, các nhà nghiên cứu có thể nắm được bức tranh phát triển khá toàn diện của một ấn phẩm thuộc Scopus chỉ bằng một vài cú nhấp chuột, điều này thật sự có ý nghĩa đối với các nhà xuất bản nói riêng và giới khoa học nói chung.

Tổ hợp các chỉ số CiteScore

Không giống như phiên bản trả phí của Clarivates khi truy cập hệ số ảnh hưởng JIF trong JRC, CiteScore và các số liệu liên quan (CiteScore Percentiles, Citescore trends, CiteScore rank) đều được Elsevier cung cấp miễn phí và dễ dàng tra cứu qua website chính thức của Scopus như hình 2 là một ví dụ:

Hình 2. CiteScore Percentiles, Citescore trends, CiteScore rank của tạp chí "Journal of World Business" trên website của Scopus (Hình ảnh được chụp màn hình trên website của Scopus)
Hình 2. CiteScore Percentiles, Citescore trends, CiteScore rank của tạp chí “Journal of World Business” trên website của Scopus (Hình ảnh được chụp màn hình trên website của Scopus)

Khác với JIF Quartiles, CiteScore quartiles được xét dựa trên “CiteScore Percentile”. Theo đó, “CiteScore Percentile” của một ấn phẩm có chỉ số CiteScore X được tính bằng công thức như bảng 1:

Bảng 1. Công thức tính “CiteScore Percentile” của một ấn phẩm có chỉ số CiteScore X [1]

“CiteScore Percentile” của một ấn phẩm có CiteScore X = [(L + (0.5 x S)/N ] x 100
Trong đó:

L = Số ấn phẩm nằm trong một lĩnh vực ASJC* của Scopus có chỉ số CiteScore thấp hơn X

S = Số ấn phẩm nằm trong một lĩnh vực ASJC của Scopus có chỉ số CiteScore X

N = Tổng số ấn phẩm nằm trong một lĩnh vực ASJC của Scopus có chỉ số CiteScore

(*) ASJC là viết tắt của “All Science Journal Classification” và là hệ thống phân loại các lĩnh vực của các ấn phẩm trong Scopus.

Theo công thức trên, ví dụ một tạp chí có “CiteScore Percentile” là 89% có nghĩa là xếp hạng CiteScore của tạp chí đó cao hơn 89% các ấn phẩm khác trong lĩnh vực đó.

Dựa trên CiteScore Percentile, CiteScore Quartiles được chia làm 4 tập hợp và được phân loại như bảng 2:

Bảng 2. Bảng phân loại Q1-Q2-Q3-Q4 dựa trên CiteScore percentile [1]

Quartile 1 (Q1) = CiteScore percentile 75% tới CiteScore percentile 99%
Quartile 2 (Q2) = CiteScore percentile 50% tới CiteScore percentile 74%
Quartile 3 (Q3) = CiteScore percentile 25% tới CiteScore percentile 49%
Quartile 4 (Q4) = CiteScore percentile 0% tới CiteScore percentile 24%

Cũng giống như đặc điểm của JIF và tổ hợp Q từ JIF, một ấn phẩm thuộc Scopus mỗi năm chỉ có một chỉ số CiteScore nhưng lại có thể có các “CiteScore Percentile” khác nhau từ đó có thể nằm trong những “CiteScore Quartile” khác nhau đối với từng lĩnh vực thuộc ASJC của Scopus.

Hạn chế của chỉ số CiteScore

Với mục tiêu và phương pháp tính khá tương đồng với JIF, hệ số CiteScore cũng gặp phải những hạn chế tương tự như của hệ số ảnh hưởng JIF. Tuy nhiên do một số điểm khác biệt về khung thời gian xác định để tính JIF và CiteScore nên điều này cũng là một trở ngại đối với JIF mà CiteScore đã khắc phục được.

Theo Clarivate, một tạp chí “mới được công nhận” vào danh mục SCIE hoặc SSCI của WoS chỉ có hệ số ảnh hưởng JIF sau ít nhất 3 năm trong danh mục này [12]. Như vậy có nghĩa là một tạp chí mới được công nhận vào danh mục này sẽ không có hệ số trích dẫn cho tới ít nhất là 3 năm sau [5, 6].

Ví dụ một tạp chí bắt đầu được công nhận vào danh mục WoS đầu năm 2018 thì phải đợi tới đầu năm 2021 mới có được hệ số ảnh hưởng JIF đầu tiên tại báo cáo JCR. Tuy nhiên, với hệ số CiteScore, Scopus bắt đầu tính hệ số này ngày khi tạp chí nằm trong Scopus một năm. Tức là một tạp chí bắt đầu nằm trong danh mục Scopus đầu năm 2018 thì tạp chí đó sẽ có hệ số CiteScore đầu tiên vào năm 2019.

Đây cũng là một trong những lý do khiến cho “thị trường” của CiteScore lớn hơn rất nhiều so với JIF. Theo công bố của Elsevier, có tới 216 tạp chí có CiteScore nằm trong top 10% (Q1) của Scopus không có JIF, trong đó 49 tạp chí của Taylor&Francis, 28 tạp chí của Elsevier, 20 tạp chí của Springer Nature, 13 tạp chí của Wiley cùng rất nhiều tạp chí hàng đầu của các trường đại học [7].

Tính đến năm 2020, Scopus có trên 13.000 ấn phẩm có hệ số CiteScore nhưng lại không có hệ số ảnh hưởng JIF, trong đó có tới trên 655 ấn phẩm nằm trong top 10% (Q1) (hình 3).

Hình 3. Số lượng ấn phẩm có chỉ số CiteScore nhưng không có JIF năm 2020 [8]
Hình 3. Số lượng ấn phẩm có chỉ số CiteScore nhưng không có JIF năm 2020 [8]
Chỉ với 10 năm CiteScore được sử dụng, Elsevier đã có được 32 tạp chí truy cập mở đứng đầu trong rất nhiều lĩnh vực. Đặc biệt, từ 2019 đến 2020 đã có tới 4.369 ấn phẩm thăng hạng CiteScore lên tới 50% (hình 4).

Hình 4. Thành quả của chỉ số CiteScore sau 10 năm hoạt động [8]
Hình 4. Thành quả của chỉ số CiteScore sau 10 năm hoạt động [8]
Những điều này cho thấy Clarivate đã “bỏ lỡ” rất nhiều ấn phẩm chất lượng. Nói cách khác, không phải ấn phẩm nào không có hệ số ảnh hưởng JIF cũng có nghĩa là “hàng kém chất lượng”, chỉ là rào cản về thời gian xét duyệt, về thể loại ấn phẩm của JIF khiến nhiều ấn phẩm “sịn sò” không có nổi một “danh phận” thôi.

So sánh CiteScore và JIF

Với chỗ đứng ngày càng được khẳng định trong giới khoa học, chỉ số CiteScore hứa hẹn sẽ là một “đối thủ” đáng gờm của JIF. Đó cũng là lý do tại sao ngày càng có nhiều cá nhân, đơn vị nghiên cứu quan tâm tới việc so sánh CiteScore và JIF với góc nhìn đa chiều nhằm cung cấp thêm nhiều thông tin và những phân tích xác thực cho giới nghiên cứu khoa học về tính minh bạch, chính xác và hiệu quả của hai chỉ số được xem là phổ biến nhất giới nghiên cứu khoa học hiện nay.

Dưới đây là hình ảnh so sánh những khác biệt cơ bản về phương pháp tính giữa CiteScore và JIF trong một ví dụ tính 2 chỉ số này của cùng một tạp chí vào năm 2019 (hình 5)

Hình 5. Khác biệt giữa phương pháp tính CiteScore và JIF của một tạp chí vừa thuộc Scopus vừa thuộc WoS năm 2019 [9]
Hình 5. Khác biệt giữa phương pháp tính CiteScore và JIF của một tạp chí vừa thuộc Scopus vừa thuộc WoS năm 2019 [9]
Hình ảnh trên cho thấy phương pháp tính CiteScore dựa trên cơ sở dữ liệu của Scopus  năm 2019 với 25.302 ấn phẩm có chỉ số CiteScore gồm 24.180 tạp chí, 257 tạp chí thương mại, 719 sách và 146 kỷ yếu hội nghị [2]. Trong khi đó phương pháp tính JIF dựa trên cơ sở dữ liệu của WoS năm 2019 với 11.877 tạp chí có JIF đến từ 81 quốc gia tại 5 châu lục trên thế giới [10]. Chỉ riêng cơ sở dữ liệu đã có sự khác biệt rõ rệt giữa chỉ số CiteScore và JIF về quy mô.

Điểm khác biệt thứ hai có thể dễ dàng nhận biết đó là loại tài liệu được tính vào công thức. Đối với chỉ số CiteScore, tất cả các tài liệu bao gồm bài báo, bài viết đánh giá, bài viết hội nghị, báo cáo  số liệu và sách trong tạp chí, sách, kỷ yếu hội nghị đều được tính trích dẫn trong khi đó JIF chỉ tính số lượt trích dẫn cho bài báo và bài viết đánh giá của tạp chí.

Sự khác biệt về “đối tượng” sử dụng cho phương pháp tính trích dẫn là lý do khiến hệ số CiteScore và JIF của cùng một tạp chí khó mà có giá trị tương đương. Do vậy, khi so sánh giữa các tạp chí, chỉ nên so sánh theo JIF hoặc theo chỉ số CiteScore mà không thể so sánh ngang giữa JIF và CiteScore được (thậm chí có trường hợp cho kết quả ngược nhau).

Một minh chứng cho sự khác biệt này là từ nghiên cứu của Bergstrom và West phân tích mức độ liên hệ giữa chỉ số CiteScore và JIF. Kết quả chỉ ra rằng những tạp chí thuộc tổ hợp thương hiệu của “Nature” có những giá trị CiteScore năm 2015 thấp hơn 40% so với hệ số JIF và các tạp chí khác đã phần sẽ có sự chênh lệch khoảng 15-25% về giá trị chỉ số CiteScore và JIF [11].

Từ những khác biệt, phương thức tính toán cùng thực trạng và những hạn chế của hệ số ảnh hưởng JIF cũng như chỉ số CiteScore, hiện nay nhiều quốc gia đã thành lập những bảng xếp hạng tạp chí riêng như bảng xếp hạng ABS của Anh Quốc, ABDC của Úc, VHB của Đức, Dallas List của Mỹ… Những bảng xếp hạng này chỉ lấy hệ số ảnh hưởng JIF hay chỉ số CiteScore là một phần cơ sở dư liệu kèm theo một số những tiêu chuẩn riêng biệt nhằm hỗ trợ các nhà khoa học và các đơn vị – tổ chức nghiên cứu có được những nguồn tham khảo sâu rộng hơn.

Vì vậy, thay vì “đăt niềm tin” vào một chỉ số riêng biệt, hi vọng các nhà khoa học sáng suốt hơn trong việc lựa chọn thêm những phương pháp thay thế khác để mỗi sản phẩm khoa học đều đến được với những ấn phẩm đúng tầm thuộc Scopus hay WoS, được giới khoa học đánh giá công tâm cùng sức lan tỏa và ảnh hưởng xứng đáng. Hi vọng các tổ chức, đơn vị đánh giá có cái nhìn sâu sắc hơn để đánh giá chất lượng tạp chí nghiên cứu khoa học quốc tế không chỉ bằng chỉ số Citescore hay hệ số ảnh hưởng JIF mà bằng nhiều công cụ và hình thức uy tín khác.

TÀI LIỆU THAM KHẢO

[1] https://arxiv.org/ftp/arxiv/papers/1812/1812.06871.pdf

[2] https://blog.scopus.com/posts/citescore-2019-now-live

[3] https://liu.cwp.libguides.com/c.php?g=45770&p=4417804

[4] https://blog.scopus.com/posts/citescore-2019-now-live

[5] Ioannidis JP, Boyack KW, Small H, Sorensen AA, Klavans R. Bibliometrics: Is your most cited work your best? Nature. 2014;514(7524):561-2.

[6] Time to remodel the journal impact factor: Nature. 2016 Jul 28;535(7613):466. doi: 10.1038/535466a.

[7] https://www.elsevier.com/about/pressreleases/science-and-technology/citescore-shines-a-spotlight-on-high-quality-journals-neglected-byother-metrics

[8] https://www.elsevier.com/connect/what-is-citescore-and-why-should-you-care-about-it

[9]https://libguides.lb.polyu.edu.hk/journalimpact/citescore#sthash.LhqlDMgj.6jg7vR2H.dpbs

[10] https://www.researchinformation.info/news/journal-citation-report-2019-update-released

[11] Bergstrom, C. T., & West, J. (2016). Comparing Impact Factor and Scopus CiteScore, 1–11. Retrieved from http://eigenfactor.org/projects/posts/citescore.php

[12] Bornmann, L. and Daniel, H. (2008), “What do citation counts measure? A review of studies on citing behavior”, Journal of Documentation, Vol. 64 No. 1, pp. 45-80. https://www.emerald.com/insight/content/doi/10.1108/00220410810844150/full/html

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Back to top button