עיבוד נתונים מקדים

עיבוד נתונים מקדים (באנגלית: Data pre-processing) הוא מונח המתייחס לשלב הקודם לניתוח הנתונים, שמטרתו לשפר את יכולות הניתוח והסקת המידע מהנתונים באמצעות הפעלת כלים המשנים חלקים מסוימים במידע ובאמצעות הסרה של חלקי מידע לא נחוצים. שלב עיבוד הנתונים המקדים הוא שלב חשוב של הכנת נתונים בתהליך כריית מידע. 

כאשר אין בקרה הדוקה על הנתונים הנכנסים למאגר מידע, דבר הקרוי בעגה "זבל פנימה, זבל החוצה" (GIGO), נתונים שגויים או לא רלוונטיים נכנסים למאגר המידע. לדוגמה, עלולים להיכנס נתונים של משתנה מסוים מחוץ לטווח הרלוונטי (משקל: 900 קילו) או שילוב נתונים בלתי אפשרי בין כמה משתנים (למשל, מין: זכר, בהריון: כן). באופן מקביל ברישומי EEG המנסים לעקוב אחר פעילות המוח, ייתכן וייכנסו אותות אשר מקורם לא בקליפת המוח, אלא בשרירי הקרקפת. בהליך העיבוד המקדים, מפרקים את האותות באמצעות שיטות לזיהוי רכיבים בלתי תלויים כמו  independent component analysis (ICA), תרים אחר אותות בעליי מאפיינים מיוחדים המזוהים עם פעילות שרירי הקרקפת, ומסירים אותם. 

ניתוח הנתונים לפני שבוצע איתור בעיות מסוג זה, או ללא התייחסות מתאימה לאותן הבעיות בטרם הניתוח עלול להוביל להסקת מסקנות שגויות או פחות מדויקותPyle, D., 1999. Data Preparation for Data Mining. Morgan Kaufmann Publishers, Los Altos, California.. בשלב עיבוד הנתונים המקדים מטפלים בבעיות אלו. לעיתים הליך זה הוא כה חשוב בהתייחס למסד הנתונים הספציפי, עד שהוא הופך להיות השלב החשוב ביותר בהליך השימוש בנתונים בכללותו. 

דוגמאות להליכים המבצעים בעיבוד נתונים מקדים הם: ניקוי, בחירת מופעים, נורמליזציה, One Hot Encoding, טרנספורמציה, חילוץ ובחירה של תכונות וכו'.

עיבוד הנתונים המקדים עשוי להשפיע על פרשנות התוצאות של הניתוח בכללותו. לפיכך יש להפעיל שיקול דעת בהפעלת הכלים השונים כחלק מהליך זה, מתוך הבנה של המשמעויות שהכלים יוצרים על פרשנות התוצאות.

 הערות שוליים 

קטגוריה:למידת מכונה
קטגוריה:דפים עם תרגומים שלא נסקרו