הכנת נתונים

**הכנת נתונים** או **הכנת מידע** (באנגלית: **Data preparation**) היא פעולה של מניפולציה (או עיבוד מקדים) של נתונים גולמיים (שעשויים להגיע ממקורות שונים) לצורה שניתן לנתח בקלות ובדייקנות יתר.

הכנת נתונים היא השלב הראשון בפרויקטים של ניתוח נתונים ויכולה לכלול משימות דיסקרטיות רבות כמו טעינת נתונים או קליטת נתונים, טיוב נתונים, ניקוי נתונים, ריבוד נתונים ואספקת נתונים.

הנושאים שיש לטפל בהם מתחלקים לשתי קטגוריות עיקריות:
* שגיאות שיטתיות הכוללות מספר רב של רשומות נתונים, כנראה מפני שהגיעו ממקורות שונים
* שגיאות בודדות המשפיעות על מספר קטן של רשומות נתונים, כנראה עקב שגיאות בהזנת הנתונים המקורית

## מפרט נתונים
השלב הראשון הוא לקבוע מפרט מלא ומפורט של הפורמט של כל שדה נתונים ומה משמעות הערכים. שלב זה צריך לקחת בחשבון את:
* הכי חשוב, התייעצות עם המשתמשים בנתונים
* כל מפרט זמין של המערכת שישתמש בנתונים לביצוע הניתוח
* הבנה מלאה ככל שניתן של המידע הזמין, וכל הפערים, בנתוני המקור

## דוגמה
נניח שיש שדה אלפביתי בן שני תווים המציין מיקום גאוגרפי. ייתכן שבמקור נתונים אחד קוד "EE" פירושו "אירופה" ובמקור נתונים אחר אותו קוד פירושו "אסטוניה". יהיה צורך לתכנן קבוצה חד משמעית של קודים ולתקן את הקוד בקבוצה אחת של רשומות בהתאם.

יתר על כן, ה"אזור הגאוגרפי" עשוי להתייחס לכל אחד מהכתובות למשל, כתובת למשלוח, כתובת לחיוב, כתובת שממנה סופקו הסחורה, מטבע חיוב או תקנות לאומיות החלות. נושאים אלו חייבים להיות מכוסים במפרט.

יכולות להיות כמה רשומות עם "X" או "555" בשדה זה. ברור שמדובר בנתונים לא חוקיים מכיוון שהם אינם תואמים את המפרט. אם יש רק מספר קטן של רשומות כאלה, אפשר לתקן אותן באופן ידני או אם הדיוק אינו חשוב, פשוט למחוק את הרשומות האלה מהקובץ. אפשרות נוספת תהיה ליצור קטגוריה "לא ידוע".

## דוגמאות נוספות לנתונים לא חוקיים הדורשים תיקון
* מספרי הטלפון הם בפורמט הנכון ויש להם את הערכים הנכונים עבור הטריטוריה המצוינת בשדה המיקום הגאוגרפי. קוד המדינה עשוי להיות קיים ברשומות מסוימות ולא באחרות: יש להסיר אותו או להכניסו (בהתבסס על המיקום הגאוגרפי) בהתאם למפרט הנתונים. באופן דומה, הפורמטים של תאריכים ויחידות מדידה (משקלים, אורכים) עשויים להיות לא עקביים.
* במקרים מסוימים יש לספק נתונים חסרים ממקורות חיצוניים (למשל, מציאת מיקוד / מיקוד של כתובת באמצעות מקור נתונים חיצוני)
* הנתונים צריכים להיות עקביים בין רשומות נתונים שונות אך קשורות (למשל לאותו אדם עשויים להיות תאריכי לידה שונים ברשומות או מערכי נתונים שונים).

במידת האפשר, יש לאמת נתונים מול מקור סמכותי (למשל, מידע עסקי מופנה אל מול מסד נתונים D&B כדי להבטיח דיוק).

בהתחשב במגוון מקורות הנתונים (כגון מסדי נתונים, יישומים עסקיים) המספקים נתונים ופורמטים שהנתונים יכולים להגיע אליהם, הכנת הנתונים יכולה להיות די מורכבת. ישנם כלים וטכנולוגיות רבות המשמשים להכנת נתונים. יש לאזן את עלות ניקוי הנתונים מול ערך הדיוק המשופר.

## הכנת נתונים בשירות עצמי
כלים וטכנולוגיות מסורתיות, כגון שפות סקריפטים או כלי ETL ואיכות נתונים אינם מיועדים למשתמשים עסקיים. הם בדרך כלל דורשים כישורי תכנות או IT שאין לרוב המשתמשים העסקיים.

מספר חברות, כגון Paxata, Trifacta, Alteryx, Talend ו-Ataccama מספקות ממשקים חזותיים המציגים את הנתונים ומאפשרים למשתמש לחקור ישירות, לבנות, לנקות, להגדיל ולעדכן נתונים לדוגמה שסופקו על ידי המשתמש.

לאחר השלמת עבודת ההכנה, ניתן להפעיל את השלבים הבסיסיים על מערכי נתונים אחרים כדי לבצע את אותן פעולות. שימוש חוזר זה מספק הגברת פרודוקטיביות משמעותית בהשוואה לשיטות ידניות וקידוד ידני מסורתיות יותר להכנת נתונים.

## שלבי הכנת הנתונים
אופיו של תהליך הכנת הנתונים משתנה בהתאם לענף, לארגון ולצרכים, אך זרימת העבודה הכללית נשארת במידה רבה ללא שינוי.
# איסוף נתונים. תהליך הכנת הנתונים מתחיל בזיהוי מערכי הנתונים הרלוונטיים, שניתן לקבלם מתוך קטלוגי נתונים קיימים או להוסיף אותם לפי הצורך.
# גילוי והערכת נתונים. לאחר איסוף הנתונים כל מערך נבחן כדי להבין את מבנהו, תכולתו והמגבלות שלו. בשלב זה ההתמקדות היא בקביעה אילו פעולות נדרשות לפני שניתן יהיה להשתמש בנתונים בהקשר ספציפי.
# ניקוי ואימות נתונים. ניקוי הנתונים נועד לשפר את איכותם. משימות נפוצות כוללות הסרת נתונים מיותרים וערכים חריגים, מילוי ערכים חסרים, התאמת הנתונים לפורמטים סטנדרטיים וטשטוש מידע אישי או חסוי. לאחר הניקוי הנתונים נבדקים לאיתור שגיאות שהופיעו בשלבים הקודמים.
# המרה והעשרת נתונים. המרת נתונים כוללת שינוי פורמטים או ערכי נתונים להשגת תוצאה מסוימת או להקל על פרשנות הנתונים. העשרת מסדי נתונים היא תהליך טכני המשמש להשלים, לתקן ולעדכן מידע על חברות ויצורי קשר מקצועיים שלהן. העשרת נתונים מתייחסת להעמקת ערכי הנתונים על ידי הוספה או קישור למידע רלוונטי על מנת לספק הקשר נוסף או תובנה.
# אחסון נתונים. לאחר ההכנה ניתן לאחסן את הנתונים או להעבירם ליישומים חיצוניים, כגון כלי אנליטיקה עסקית, שם ניתן לעבדם או לנתחם.

## ראו גם
* כריית מידע, מוצא דפוסים ותובנות בתוך מערכי נתונים
* עיבוד נתונים מקדים

## הערות שוליים

קטגוריה:מקצועות המחשוב