Bibliometrics
ข้อวิพากษ์วิจารณ์ ISI

ISI ถูกวิพากษ์วิจารณ์ตลอดมาถึงความครอบคลุมของจำนวนชื่อวารสารที่ปรากฏในฐานมีเพียงเฉพาะวารสารภาษาอังกฤษ จาก สหรัฐอเมริกา และยุโรป และยังไม่ครอบคลุม หนังสือ รายงานการประชุม ซึ่งมีการอ้างอิงถึงเช่นกันด้วย ดังนั้นการเกิดขึ้นของฐานข้อมูลการอ้างอิงใหม่จึงได้รับการตอบรับเป็นอย่างดี
การวิเคราะห์การอ้างอิง คือการนับจำนวนครั้งที่บทความวิจัย/นักวิจัยได้รับการอ้างอิงจากบทความอื่นๆ ด้วยสมมติฐานที่ว่า สำคัญ/มีอิทธิพล ได้รับสูงกว่าเป็นดัชนีที่สูงกว่า การ Peer Review และ จำนวนผลงานที่ตีพิมพ์
มีกลุ่มนักวิชาการที่ยังไม่ยอมรับว่า วิธีวัดค่าอ้างอิงนี้ว่าเป็นวิธีที่ดีที่สุด เนื่องจากมีข้อผิดพลาด เช่น ในเรื่องผู้แต่งที่มีชื่อสกุล/ชื่อต้นเหมือนกัน หรือเพื่อนร่วมงานอ้างอิงให้กันเพื่อเพิ่มจำนวนการอ้างอิงในกลุ่มเดียวกัน ส่วนกลุ่มผู้สนับสนุนเรื่องการวิเคราะห์การอ้างอิงนี้ กล่าวว่าข้อผิดพลาดเหล่านี้มีเพียงเล็กน้อยไม่สำคัญ การอ้างอิงถึงบทความ หนังสือ ถือว่ามีประโยชน์ในแง่เป็นการแสดงถึงความเคารพต่อผู้บุกเบิก สามารถระบุถึงผลงานแรกเริ่ม ให้ข้อมูลพื้นภูมิหลัง เป็นการกระตุ้นเพื่อให้เกิดงานใหม่ พิสูจน์ถึงการให้เครดิตงานที่เกี่ยวข้อง งานที่ไม่ได้รับการอ้างอิง
ถึงแม้ว่ายังมีความคลุมเครือในวัตถุประสงค์ในการวัดจำนวนการอ้างอิงเพื่อให้ทราบถึง ผลผลิต ความสำคัญ คุณภาพ การใช้ประโยชน์ การมีอิทธิพล การมีประสิทธิภาพที่มีผลกระทบต่อนักวิจัย ก็ยังไม่มีวิธีการที่ดีที่สุดในการวัด
ฐานข้อมูลการอ้างอิงของ ISI ที่เริ่มให้บริการตั้งแต่ปี 1961 ประกอบด้วยสาขา วิทยาศาสตร์/สังคม/มนุษยศาสตร์ ถูกใช้มาหลายทศวรรษ เป็นเครื่องมือเริ่มต้นในการวิเคราะห์การอ้างอิง ขณะนี้มีบทความประมาณ 40 ล้านรายการจากวารสารชั้นนำของโลก 8,700 ชื่อ และในปัจจุบันถือเป็นฐานหนึ่งที่มีความสำคัญหนึ่งของโลก ISI มีพัฒนาการตลอดมาตั้งแต่ปี 1970 เปิดให้บริการบนระบบฐานข้อมูล Dialog ปี 1980 ผลิตในรูปซีดี-รอม และในปี 1997เปิดบริการบนเว็บในชื่อ Web of Science ทำให้มีการใช้เป็นเครื่องมือในการวิเคราะห์การอ้างอิงได้อย่างสะดวกรวดเร็ว และในขณะเดียวกันเว็บก่อให้เกิดผู้แข่งขัน ที่ให้บริการในลักษณะเดียวกันนี้ ก่อให้เกิดความท้าทายต่อ ISI ยิ่งขึ้น
ปัญหาของฐานข้อมูล ISI ในระยะที่ผ่านมานี้ คือ การละเลยในการรับรู้ในข้อเท็จจริงที่ว่าปัจจุบัน พฤติกรรมการตีพิมพ์ผลงานของนักวิจัย มีการตีพิมพ์ในวารสารออนไลน์แบบเปิด (Open Access Journal) ในหน้าเว็บเพจส่วนบุคคล/หรือในคลังความรู้ของสถาบัน (Institational Repository) สูงมากขึ้นกว่าในอดีตมาก ซึ่งข้อมูลเหล่านี้เปิดให้เข้าถึงได้อย่างเสรี ในขณะเดียวกัน นักวิทยาศาสตร์มีการใช้บริการสืบค้นและ Download เอกสารการวิจัยจากบริการชื่อใหม่ๆ เช่น ar Xiv.org/Google scholar/ Elsevier Science Direct ซึ่งมีผลให้เกิดชุมชนนักวิชาการในวงกว้างขึ้นใช้ร่วมกันและเกิดการอ้างอิงต่อมา ซึ่งบทความเหล่านี้ไม่ได้ถูกจัดทำดัชนีในฐานข้อมูล ISI ฐานข้อมูลดัชนีการอ้างอิงชุดใหม่ที่เกิดขึ้นเพิ่มมากขึ้น ทำให้สามารถสืบค้นหาข้อมูลการอ้างอิงให้เปิดเผยอย่างมากขึ้น
ฐานข้อมูลการอ้างอิงรุ่นใหม่ เช่น Scopus/ Google Scholar ให้ข้อมูลรูปแบบการอ้างอิงของบทความวิจัย/นักวิจัย ถือเป็นการจุดสิ้นสุดของการถือเอกสิทธิ์เป็นหนึ่งเดียวของฐานข้อมูล ISI ที่มีอายุยืนยาวเกือบ 40 ปี
การประเมินถึงคุณภาพ/ผลกระทบของผลงานวิจัยสาขาวิทยาศาสตร์และเทคโนโลยี จำเป็นต้องใช้เครื่องมือ/ฐานข้อมูลให้หลากหลายมากขึ้นกว่าเดิมที่ใช้เพียง 1 แหล่ง ตัวอย่าง หนังสือชื่อ Quantum Computation & Quantum Information โดยผู้แต่ง M. Nilsen & I. Chuang ปี ค.ศ. 2000 โดยสำนักพิมพ์ Cambridge University Press
พบได้รับการอ้างอิงมากกว่า 2,800 ครั้ง จากฐานข้อมูล ISI : WOS.
เมื่อสืบค้นจากฐานข้อมูล Scopus พบว่า ได้รับการอ้างอิง 3,150 ครั้ง
จาก Google Scholar พบได้รับการอ้างอิง 4,300 ครั้ง
จาก Physical Review Online Archive พบได้รับการอ้างอิง 1,500 ครั้ง
จาก Science Direct พบได้รับการอ้างอิง 375 ครั้ง
จาก Institute of Physics J.Archive พบได้รับการอ้างอิง 290 ครั้ง
จาก arXiv.org of Physics J.Archive พบได้รับการอ้างอิง 325 ครั้ง
ฉะนั้นหากใช้แหล่งข้อมูลการอ้างอิงเพียงแหล่งใดแหล่งหนึ่ง จะทำให้ ข้อมูลการอ้างอิงที่ผิดพลาดทั้งหมด
จากผลงานวิจัยของ มหาวิทยาลัย อินเดียนา สหรัฐอเมริกา เปรียบเทียบหาข้อมูลการอ้างอิงของบทความของนักวิทยาศาสตร์ที่มีการสืบค้นในสาขา Information Science จากแหล่งข้อมูลหลายแหล่งคือ Web of Science /Scopus/ Google Scholar ผลการวิจัยพบว่า Scopus และ Google Scholar ให้จำนวนการอ้างอิงเพิ่มมากขึ้นร้อยละ 35 และ 160 ตามลำดับ โดยทั้งนี้พบข้อมูลสำคัญที่ว่าพฤติกรรมการอ้างอิงในแต่ละสาขาวิชาแตกต่างกันไป และยังค้นพบเรื่องที่สำคัญอีกว่า เห็นความเชื่อมโยงของสาขาวิชาโดยในศึกษาเรื่องนี้เป็นสาขาสารสนเทศศาสตร์ (information Science) พบมีความเชื่อมโยงกับสาขาวิทยาการคอมพิวเตอร์ (Computer Science) สาขาการศึกษา (Education) สาขาวิศวกรรมศาสตร์ (Engineering) และสาขา Cognitive Science จากหลักฐานนี้ สรุปได้ว่า การศึกษาวิจัยในสาขาวิชาต่างๆ มีแนวโน้มที่จะเป็นสหสาขาวิชามากขึ้น (Multidisciplinary) ซึ่งไม่สามารถพบข้อมูลนี้ได้หากใช้แหล่งข้อมูลจากฐานข้อมูล ISI เพียงแหล่งเดียว การใช้แหล่งข้อมูลที่หลากหลายมากขึ้นเกิดภาพแสดงความสัมพันธ์ของสาขาวิชาต่างๆ ช่วยสร้างแผนที่/ภาพของการสื่อสารทางวิชาการได้ถูกต้องชัดเจนมากยิ่งขึ้น เช่น ความสัมพันธ์ระหว่างผู้แต่ง หน่วยงาน สาขาวิชาประเทศ วารสาร
การเกิดขึ้นฐานข้อมูลการอ้างอิงแบบเว็บเบส (Web-Based Citation Database) ในช่วงเวลา 2 ปีที่ผ่านมานี้ ได้รับความนิยมจากนักวิเคราะห์การอ้างอิงอย่างดียิ่ง ทำให้งานการสืบค้นและวิเคราะห์ข้อมูลการอ้างอิงเป็นงานที่ท้าทายมากยิ่งขึ้น ฐานข้อมูลการอ้างอิงชุดใหม่ไม่ได้ครอบคลุมเฉพาะวารสาร รายงานการประชุมเท่านั้น ยังรวบรวมสิ่งพิมพ์ประเภทต่างๆ ในหลากหลายภาษา เช่น เฉพาะบทของหนังสือ วิทยานิพนธ์ รายงานการวิจัย รวมจำนวนหลายล้านรายการ