כלים להערכת כתבי עת ודירוגם

בתאריך 7.7.21 התקיימה במערך הספריות והמידע הרצאה בנושא:

״ביבליומטרי-מה?! ביבליומטריקה, אלטמטריקה, מדדי השפעה,  תפוקה מחקרית ואיך להציג impact מחקרי״

מצגת שהוצגה בהרצאה.

 

הקלטה של ההרצאה:

 

שיטות נפוצות לדרוג כתבי עת מבוססות על מדדים סטטיסטיים הבוחנים את שכיחות האזכורים של כל אחד מהם בטקסטים מאוחרים יותר. ההנחה היא שככל שמאמר מאוזכר פעמים רבות יותר, השפעתו על השיח המחקרי רבה יותר.

יתרונות הדירוג

1. מאפשר לחוקרים להחליט באיזה כתבי עת מובילים כדאי לפרסם את מאמריהם לשם חשיפה מְרַבִּית בשדה המחקר.
2. משוב לכתבי העת: הענקת יוקרה לכתבי העת המובילים לצד תמריץ לשיפור עבורם ועבור האחרים.
3. הצלחתו של כתב העת תורמת לפרסומו ולהעלאת יוקרתו של המו"ל.
4. החברות במערכת כתב העת מוביל מעצימה את תחושת הערך האישי.
5. מאפשר למשתמש הקצה המבקש לבחור את המאמרים האיכותיים ביותר.
6. עידוד תחרות בין כתבי העת, היוצרת גם תחרות בין מחברי המאמרים על איכות התכנים.
7. משפיע על קבלת החלטות בנוגע לבניית האוסף לאור מגבלות תקציב ומקום.

חסרונות הדירוג

1.  בעיית אזכור עצמי.
2. בעיית האיכות מכיוון שיתכן שיכתבו מאמרי ביקורת רבים בעקבות פרסומו של מאמר גרוע, מכאן שרמת האזכורים אינה מעידה על האיכות. ולהיפך: כתב עת בינוני המפרסם מאמר איכותי יזכה לציטוט רב יותר ולשיפור בדירוגו.
3. גורם הזמן. שיטות דרוג המבוססות על ספירת אזכורים מעניקות יתרון בולט לכתבי עת ותיקים. יש להניח כי בין שני כתבי עת השווים באיכותם יזכה כתב העת הוותיק למספר אזכורים גדול יותר.
4. שיטת דרוג המבוססת על ספירת אזכורים אינה מבטאת שינויים אפשריים ברמתו של כתב עת נתון.
5. שיטות המבוססות על ספירה מעניקות יתרון לכתבי עת המפרסמים מאמרים רבים יותר. ככל שתדירות הפרסום גבוהה יותר, מספר האזכורים של כתב העת יהיה רב יותר.

מאגרי מידע להערכת כתבי עת באתר מערך הספריות

JCR – Journal Citation Reports

מדריך לשימוש במאגר (מתוך אתר הספרייה של אוניברסיטת חיפה)

מאגר JCR בראשות Thomson Reuters מאפשר הערכת כתבי עת מובילים של למעלה מ-3300 מו"לים בתחומי טכנולוגיה, מדעים מדויקים ומדעי החברה (המאגר אינו כולל כתבי עת במדעי הרוח), משנת 1997 ואילך, שמאמריהם מופיעים במאגר Web of Science.

בחירת כתבי העת לצורך הערכתם נעשית על פי סטנדרטים קבועים של כתבי עת מחקריים, וביניהם: כתבי עת שפיטים (Peer Reviewed), כתבי עת המוכחים בשדה המחקר, שנות כיסוי, ומידת הציטוט ההדדית בין כתבי עת המשתייכים לאותו מו"ל.
המאגר מתעדכן אחת לשנה.

פונקציות:

• איתור כתבי עת מובילים באמצעות קטגוריות נושאים, שמות מחברים ושמות ארגוני-מחקר.
• מתן פרופיל והיסטוריה של כתב עת.
• השוואה בין כתבי עת מתחרים מאותה קטגוריה בעלי מקסימום IF.
• סינון כתבי עת מצטיינים, וכתבי עת הנגישים באמצעות Open Access.
• סינון מאמרי מחקר לעומת מאמרי ביקורת (Reviews).
• ציון שמות כתבי עת שהוצאו מהמאגר בגלל מספר גבוה של ציטוטים עצמיים, וניתוח אחוזי הציטוטים.
• חישוב הגיל הממוצע של הציטוטים במאמר, בטווח מקסימלי של 10 שנים (Half Cited Year).
• הורדת נתונים בפורמטים שונים.
• ויזואליזצית נתונים סטטיסטיים.
• ניווט נתונים עוקבים משנה לשנה.

המדד להערכת כתבי העת במאגר JCR הינו סטטיסטי וכולל שלושה כלים להערכה: Impact Factor, Eigenfactor, וחישוב אחוזי מאמרים בפרסומים מצוטטים.

Impact Factor (=IF):

המדד המקובל והוותיק ביותר להערכת כתבי עת. המדד מושתת על ההנחה הבסיסית שכמות הציטוטים שמקבל כתב עת היא המדד למצוינות, שכן ככל שמאמר מצוטט יותר האימפקט שלו על הקהילה המדעית גבוה יותר. הנחה זו הייתה ועדיין נותרה שנויה במחלוקת, שכן מדד ה-IF מודד כתבי עת ולא מאמרים בודדים או חוקרים.

שיטת החישוב:

IF של כתב עת הוא ממוצע הציטוטים שמקבל כל מאמר המתפרסם בו.

יש לציין IF לשנה מסוימת.

לדוגמה:

IF לשנת 2016:

סך כל הציטוטים בשנת 2016 שפורסמו בכתב עת מסוים בשנתיים שקדמו לה =

2014-15

סה"כ המאמרים המקוריים ומאמרי הסקירה שהתפרסמו באותו כתב עת באותן שנים = 2014-15

ביקורת על מדד IF:

• המדד תלוי תחום ואינו אבסולוטי, ומשתנה מאוד בין תחומי המדע השונים. נע בין 1-3 אחוזים במתמטיקה ופיזיקה לבין 5-8 במדעי החיים, ומשום כך הוא משמש בעיקר את מדעי החיים והרפואה.
• חברת תומסון רויטרס קראה לקהילה האקדמית שלא להשתמש במדד לשם הערכת איכות חוקרים, וכן שלא להשוות בין כתבי עת שלא מאותה קטגוריה.
• על פי מחקרים אחדים עולה כי כתבי עת המפרסמים מאמרים בגישה חופשית (Open Access) זוכים לציטוטים בשיעור גבוה יותר.

Eigenfactor Score:

מונה מתוך המאגר של JCR את סה"כ הציטוטים בשנה מסוימת לכתב עת מסוים, אך בשונה ממנו הערכת כתבי העת מתמקדת בהשפעה של כתב עת ולא ב-IF.
בנוסף:

• מתייחס לציטוטי מאמרים שפורסמו ב-5 שנים שקדמו להם באותו כתב עת. לדוגמה: שנת 2016 = 2011-2015.
• הממוצע משוקלל. נותן משקל גבוה יותר לציטוטים שמקורם בכתבי עת חשובים יותר.
• לא כולל ציטוטים העצמיים (Self-Citation).

במדד זה הציון הממוצע להשפעה של מאמר הוא 1.00:
אם כתב העת קיבל ציון הגדול מ-1.00 משמעו שכל אחד מן המאמרים המתפרסמים בו השפיע יותר מן הממוצע.
אם כתב עת  קיבל ציון קטן מ-1.00 משמעו שכל אחד מן המאמרים המתפרסמים בו השפיע פחות מן הממוצע.

SCOPUS - Elsevier API

מאגר Scopus בראשות Elsevier הוא מפתח למאמרים מחקריים ושפיטים מתוך למעלה מ-5000 מו"לים של כתבי עת מחקריים, בנוסף לספרים, כנסים ופטנטים בתחומי טכנולוגיה, מדעים מדויקים, רפואה, מדעי החברה ומדעי הרוח. המאגר מתעדכן בכל יום.
 

פונקציות:

• הערכת מאמרים וכתבי עת בתחום מדעי הרוח והאמנויות, בנוסף למדעים מדויקים ומדעי החברה, משנת 1996 ואילך.
• הערכת מחברים.
• איתור כתבי עת מובילים באמצעות קטגוריות נושאים.
• הערכת כתבי עת שפיטים בלבד, ומאידך הערכת כל סוגי המאמרים.
• מתן פרופיל והיסטוריה של כתב עת.
• השוואה בין כתבי עת מתחרים מקטגוריות שונות.
• הערכת כתבי עת החסרים Impact Factor.
• סימון כתבי עת הנגישים באמצעות Open Access.
• הגבלת הכנסתם למאגר של כ-33% מכתבי עת בעלי מספר גבוה של ציטוטים עצמיים.
• חישוב ממוצע הציטוטים במאמר, בטווח מקסימלי של 3 שנים.
   
• הורדת נתונים בפורמטים שונים.
• ויזואליזצית נתונים סטטיסטיים.
• ניווט נתונים עוקבים משנה לשנה.

סקירה זו תתמקד בפונקציות הערכת כתבי עת ובהערכת מחברים:

א. הערכת כתבי עת:
בשונה ממאגר JCR, מאגר Scopus אינו מעריך את כתבי העת באמצעות מדד Impact Factor, אלא באמצעות שלושת המדדים SNIP, SJR וכן IPP:

SNIP=Source Normalized Impact per Paper:

מדד ההשפעה של כל מאמר בתוך כתב העת, בדגש על נושא המחקר. החישוב מתמקד בממוצע הציטוטים שבמאמר ביחס לסך כל הציטוטים בשדה הנושא.

 

SJR=SCImago Journal Rank:

מדד המשקף את מוניטין כתב העת, בדגש על נושא המחקר, האיכות ומוניטין כתב העת, בעזרת חישוב מספר הציטוטים בכתב העת וחשיבות או יוקרת כתבי העת המצטטים. חישוב הדרוג נעשה בטווח ארבע שנים.
 

IPP=Impact per Publication:

מודד את ממוצע הציטוטים בשנה במאמרים מחקריים שפורסמו בשלוש השנים הקודמות, בחלוקה למספר המאמרים האקדמיים שפורסמו באותן שנים.

ב. הערכת מחברים: Analyze Author Output

H-index:

מדד להערכת האיכות ומידת ההשפעה של פרסום על ידי בחירת הפרסומים בעלי הקבלה זהה למספר הציטוטים. לדוגמה: H Index 12 משמעו שמתוך סך כל הפרסומים המוצגים בגרף, נבחרו 12 פרסומים שצוטטו לפחות 12 פעמים.
כפועל יוצא מפרט מדד H-Index את מספר הפרסומים, ממוצע הציטוטים בשנה על ידי אחרים, וסך כל הפרסומים שנעשו בשיתוף עמיתים.

למדד מגבלות מסוימות כמו חוסר רגישות ביחס לחוקרים טובים אך חדשים בתחום שעדיין אין להם מספר רב של מחקרים.

 

מדד ירושלים דין וחשבון

מדד זה מוגבל לקהיליית האוניברסיטה העברית ואינו נמצא באתר מערך הספריות אבל כדאי להכירו.

תוצר האוניברסיטה העברית, ונבנה על ידי יחידותיה השונות. סטטוס עורכי המדד הינו פרופ' חבר ומעלה, בראשות פרופ' איתמר גתי. 

המדד נועד לעודד את חוקרי האוניברסיטה, במיוחד חוקרים בתחילת דרכם, המכירים פחות את איכות כתבי העת השונים, לפרסם את עבודותיהם בבמות הפרסום המובילות. מעבר לכך, מהווה המדד כלי אפשרי להערכת איכות של יחידה אקדמית על פי איכות הפרסומים של חבריה.

המדד קיים בכל התחומים במדעי הטבע, מדעים מדויקים ומדעי החברה, לרבות חינוך, מנהל עסקים, עבודה סוציאלית וקרימינולוגיה, חקלאות, רפואה, משפטים, מנהל עסקים ועוד. סה"כ 67 תחומים. נכון להיום המדד עדיין לא מכסה את מדעי הרוח. רוב כתבי העת במדד אמריקאים ומפורסמים באנגלית ויש בו מעט כתבי עת בעברית.

המדד שונה מהמדדים המוכרים המתבססים על סטטיסטיקה של מספר הציטוטים, והוא אינו בעל Impact Factor, אבל איכותי יותר מבחינות אחרות. מדובר בסיווג לפי תחומים ולכן יתכן כתב עת לדוגמה, שיקבל דירוג גבוה בכימיה אבל דירוג נמוך יותר ברוקחות.
המדד כולל ארבע קטגוריות: A, B, C. D, כאשר כתבי העת הנכללים באותיות הראשונות נחשבים למכובדים יותר.