הכנת נתונים

הכנת נתונים או הכנת מידע (באנגלית: Data preparation) היא פעולה של מניפולציה (או עיבוד מקדים) של נתונים גולמיים (שעשויים להגיע ממקורות שונים) לצורה שניתן לנתח בקלות ובדייקנות יתר.<ref>[http://www.iri.com/blog/business-intelligence/a-fresh-look-at-data-preparation IRI, The CoSort Company]</ref>

הכנת נתונים היא השלב הראשון בפרויקטים של ניתוח נתונים ויכולה לכלול משימות דיסקרטיות רבות כמו טעינת נתונים או קליטת נתונים, טיוב נתונים, ניקוי נתונים, ריבוד נתונים ואספקת נתונים.<ref>[https://books.google.com/books?id=hhdVr9F-JfAC&printsec=frontcover&source=gbs_atb#v=onepage&q&f=false Data Preparation for Data Mining, Volume 1 Morgan Kaufmann, 1999]</ref>

הנושאים שיש לטפל בהם מתחלקים לשתי קטגוריות עיקריות:
* שגיאות שיטתיות הכוללות מספר רב של רשומות נתונים, כנראה מפני שהגיעו ממקורות שונים
* שגיאות בודדות המשפיעות על מספר קטן של רשומות נתונים, כנראה עקב שגיאות בהזנת הנתונים המקורית

== מפרט נתונים ==
השלב הראשון הוא לקבוע מפרט מלא ומפורט של הפורמט של כל שדה נתונים ומה משמעות הערכים. שלב זה צריך לקחת בחשבון את:
* הכי חשוב, התייעצות עם המשתמשים בנתונים
* כל מפרט זמין של המערכת שישתמש בנתונים לביצוע הניתוח
* הבנה מלאה ככל שניתן של המידע הזמין, וכל הפערים, בנתוני המקור

== דוגמה ==
נניח שיש שדה אלפביתי בן שני תווים המציין מיקום גאוגרפי. ייתכן שבמקור נתונים אחד קוד "EE" פירושו "אירופה" ובמקור נתונים אחר אותו קוד פירושו "אסטוניה". יהיה צורך לתכנן קבוצה חד משמעית של קודים ולתקן את הקוד בקבוצה אחת של רשומות בהתאם.

יתר על כן, ה"אזור הגאוגרפי" עשוי להתייחס לכל אחד מהכתובות למשל, כתובת למשלוח, כתובת לחיוב, כתובת שממנה סופקו הסחורה, מטבע חיוב או תקנות לאומיות החלות. נושאים אלו חייבים להיות מכוסים במפרט.

יכולות להיות כמה רשומות עם "X" או "555" בשדה זה. ברור שמדובר בנתונים לא חוקיים מכיוון שהם אינם תואמים את המפרט. אם יש רק מספר קטן של רשומות כאלה, אפשר לתקן אותן באופן ידני או אם הדיוק אינו חשוב, פשוט למחוק את הרשומות האלה מהקובץ. אפשרות נוספת תהיה ליצור קטגוריה "לא ידוע".

== דוגמאות נוספות לנתונים לא חוקיים הדורשים תיקון ==
* מספרי הטלפון הם בפורמט הנכון ויש להם את הערכים הנכונים עבור הטריטוריה המצוינת בשדה המיקום הגאוגרפי. קוד המדינה עשוי להיות קיים ברשומות מסוימות ולא באחרות: יש להסיר אותו או להכניסו (בהתבסס על המיקום הגאוגרפי) בהתאם למפרט הנתונים. באופן דומה, הפורמטים של תאריכים ויחידות מדידה (משקלים, אורכים) עשויים להיות לא עקביים.
* במקרים מסוימים יש לספק נתונים חסרים ממקורות חיצוניים (למשל, מציאת מיקוד / מיקוד של כתובת באמצעות מקור נתונים חיצוני)
* הנתונים צריכים להיות עקביים בין רשומות נתונים שונות אך קשורות (למשל לאותו אדם עשויים להיות תאריכי לידה שונים ברשומות או מערכי נתונים שונים).

במידת האפשר, יש לאמת נתונים מול מקור סמכותי (למשל, מידע עסקי מופנה אל מול מסד נתונים D&B כדי להבטיח דיוק).<ref>[http://www.salesify.com/keeping-it-clean-the-five-step-data-cleansing-process/ The Five Step Data Cleansing Process]</ref><ref>[https://www.socialresearchmethods.netkb/statprep.php Data Preparation Article]</ref>

בהתחשב במגוון מקורות הנתונים (כגון מסדי נתונים, יישומים עסקיים) המספקים נתונים ופורמטים שהנתונים יכולים להגיע אליהם, הכנת הנתונים יכולה להיות די מורכבת. ישנם כלים וטכנולוגיות רבות<ref>[http://www.kdnuggets.com/polls/2008/tools-languages-used-data-cleaning.htm KDNuggets tools poll]</ref> המשמשים להכנת נתונים. יש לאזן את עלות ניקוי הנתונים מול ערך הדיוק המשופר.

== הכנת נתונים בשירות עצמי ==
כלים וטכנולוגיות מסורתיות, כגון שפות סקריפטים או כלי ETL ואיכות נתונים אינם מיועדים למשתמשים עסקיים. הם בדרך כלל דורשים כישורי תכנות או IT שאין לרוב המשתמשים העסקיים.

מספר חברות, כגון Paxata, Trifacta, Alteryx, Talend ו-Ataccama מספקות ממשקים חזותיים המציגים את הנתונים ומאפשרים למשתמש לחקור ישירות, לבנות, לנקות, להגדיל ולעדכן נתונים לדוגמה שסופקו על ידי המשתמש.

לאחר השלמת עבודת ההכנה, ניתן להפעיל את השלבים הבסיסיים על מערכי נתונים אחרים כדי לבצע את אותן פעולות. שימוש חוזר זה מספק הגברת פרודוקטיביות משמעותית בהשוואה לשיטות ידניות וקידוד ידני מסורתיות יותר להכנת נתונים.

== ראו גם ==
* כריית מידע, מוצא דפוסים ותובנות בתוך מערכי נתונים
* עיבוד נתונים מקדים

== הערות שוליים ==

קטגוריה:מקצועות המחשוב