بسم الله والحمد لله والصلاة والسلام على رسول الله
اليوم ان شاء الله .. ان شاء الله تعالى هنكمل في ال
introduction على ال data mining نتعرف على ال data
mining tasks ونشوف ال tools اللي هنشغل عليها خلال
الفصل ال .. لكن ال .. بدنا نعمل review سريعةلما تم
عرضه الأسبوع الماضي بدي واحد منكم على السريع الآن
ذكرني سواء كان من الدفتر، من ال slides، من دماغه،
طبعا لو كان من دماغه أفضل، ما هو، ما هي ال data
mining، عرفلي ال data mining أه
محمد عملية
cleaning و analyzing ال data عشان أطلع منها
knowledge more professional definition، اعطيني
التعريفprofessional أكتر كلامك صح لكن احنا بدنا
الآن تعريف رسم محمد أحمد فروخ knowledge discovery
كمان non trivial implicit useful
أيوة novel طيب
عرفنا ال data mining على إن هي عبارة عن ال process
for extracting interesting patterns اللي هي
الأنماط المهمة أو المثيرة أو أو إلى آخرها، مصبوط؟
وقلنا كلمة interesting pattern تعني novelإنه ال
pattern هذا أو النمط هذا جديد ما حد شافه قبل هيك
previously unseen non-trivial مش تقليدي وطبعا
تنتهي متكافئات تقريبا لكن إذا كنت أنا بتتكلم إنه
ال process نفسها non-trivial إنه العملية مش عملية
تقليدية مش عملية سهلة مش كل الناس هتقوم فيها K
implicit فهو حقيقي أو valid
نطق Simplest يعني بين جثين مش Fake فده حقيقي موجود
في ال data و useful عشان يبقى بنى عليه action مفيد
للناس وطبعا Understandable
مفهوم عشان الناس تقدر تبني عليه action previously
unknown أو unseen اللي هي novel تمام قلنا بعد هيك
أن ال data miningتمر ب .. او اي data mining
project فيه له سبع مراحل سبع مراحل بتبدأ من
cleaning integration
selection
transformation
mining
Evaluation وPresentation وعشان
ما تنساش من الـ Cleaning لحد الـ Mining مرتبط
بمصطلح Data
Cleaning Data Integration Data Selection Data
Transformationdata mining أنا على السريع cleaning
كانت تقتضي مني ان اعبّل incomplete data او ال
missing data اعمل handling للمissing data noisy
data inconsistent data شو
يعني missing data ان في عندى field مافيش فيه value
nullوال field هذا أنا محتاجه فبالتالي بدي أشوف كيف
بدي أعب ال value المناسب أو الحقيقية أو الصحيحة أو
القريبة من الصحيحة لل attributes هذا noisy إنه
فيها خطأ ال value واضح فيها خطأ مثل الراتب بال
salary أو الراتب بال salary ال salary بالسالب أو
الراتب بالسالب وبالتالي أنا بدي أنتبه لهذه الشغلة
inconsistent
في two fields متناقضين مع بعض عمره تلاتين سنة وهو
موليدي الألفين تمام؟ أو mail و pregnant زي ما قلنا
سابقا ال integration data integration أن ال data
source تبعتي أو مصادر البيانات تبعتي مختلفة فبدي
أكون عندي المقدرة على أني أقدر أجمعالبيانات هذه
عشان تكمل بعضها وضربنا المثال إنه أنا بدي أشتغل
على مشروع يقيم لأو يتنبأ لي بتحصيل الطالب في
المدرسة بناء على الحالة الصحية تبعته أو الأرشيف
الصحي تبعه وزارة التربية والتعليم ووزارة الصحة
مصدرين مختلفين للبيانات فبالتالي أنا لازم أقدر
أكون عند التعامل معاهم وهنا بلزمك تعامل مع
البيانات بلزمك database وبرمجة غالبا في ال data
selectionاختيار البيانات بعدما جمعت البيانات وصارت
في عندي huge data أو many attributes مين اللي بده
يظل ومين اللي بده يبقى؟ مين ال relevant attribute
ومين ال irrelevant؟ وبالتالي أنا مطلوب مني أحذف ال
irrelevant أحذف ال redundant attribute وأحذف فقط
بال relevant attributes ال data transformation ال
rules أو ال knowledge أو ال pattern احنا اتفقنا
أنه في تعريفنا لل patternهو عبارة عن group أو
ordering parts repeated parts، مصبوط؟ يعني هذه
العناصر أو هذه الـ parts ظهرت بترتيب معين وبنسبة
تكرار معينة في الـ transformation لو كان عندي الـ
date of birth قلنا عدد ال values اللي عندي كبير
جداً وبالتالي بيصير التكرار الـ patternتكرار البتر
قليل جدا طيب بهمش أبسط الأمور يعني كل الناس اللي
مولودين في نفس السنة ممكن أنا أستغني عن الشهر و
أستغني عن اليوم لأنه في الآخر لو سألت أي واحد فيهم
مثلا للناس اللي ولدت في الألفين جديش عمرك يا فلان؟
عشرين، مباشرة عشرين أو تسعة عشر، بغض النظر، ليش؟
لأن كله مولود في سنة .. فهذه أسهل، وفعليا ما أبعد
عن الحقيقة، بالعكس هي الحقيقة بذاتها، إن هو موليد
الألفين للآن، فنحن نتكلم عن عشرين سنة طيب، لاحظ إن
أنا فعليا قللت ال variant dataالاختلاف الكتير في
ال data قللته وصار بإمكاني الآن اعتمد على ال year
فقط أو الأفضل من ال year كمان أن أروح أعمل ال age
ل category بيصير مثلا و الله بتكلم على فئة أطفال
شباب، يافعين، كبار مثلا عجزاء، هذه خمس فئات بدل ما
كنت بتعامل مع خمسين، ستين، رقم مختلف لأ صار عندي
هان و هيك أنا بأضمن أن ال pattern تبعيصار فيه
frequent أكثر وبالتالي في ال data transformation
تصير صحيح ال data mining هي عبارة عن ال task هو ال
prediction task اللي أنا بدغوم فيها فعليا هي البحث
عن المعرفة أو knowledge extraction اللي بديها ال
selection قبل ال cleaning
أجازك عشان تخفف العدد أنت اللي عندك okay الآن ..
الآن أنت عندك ال data set عندك ال data set لاجئات
فيها value ناقصة أو مفقودة أو فيها value غير صحيحة
ممكن فعليا تروح تقضر تروح تدور برا أنت عشان تجيبها
الآن بعدين أنا في ال selectionغالبا ماعنديش .. أنا
بقدر أحكم على الأسماء والأرقام، يعني رقم تليفون
الشخص مش مهم لصحته، رقم هويته مش مهم لمستوى حالته
إجتماعيا، مصبوط؟ اسمه مش متعلق بتحصيله الدراسي،
هذه كلها الـrelevant attribute أنا بقدر أعتمد
عليها مصبوط، وأحذفهم الجبللكن في عندى مجموعه
هتلاقي فيه مجموعه عن الـ attributes أنا ماقدرش
أتكلم عليها فإيش حضر؟ حضر بعد ال integration بعد
ال integration أروح أبدأ أستخدم بعض ال algorithm
اللى تروح تحسب ال correlation أو ال dependency بين
ال attributes عشان أقرر مين أشيل و مين أبقى
فبالتالي لأ لازم تكون فعليا ال cleaning number one
لأنه بعد أنت الآن ال cleaning لل source الأول ال
cleaning لل source التاني و بعدين بتيجي لمرحلاتالـ
integration لأنه كمان مرة الـ cleaning هذه بتتم
بمعرفة ال source يعني الآن مصدر بيانات وزارة الصحة
أنا والله في السنة 2005 ل 2007 مش ملاقي حاجة أو في
عندي بعض ال missing values للطفل هذا زودولي فيهم
قبل ما أفكر في الموضوع ال integration الآن زي ما
قلنا ال mining هي عبارة عن ال taskاللي أنا فعلياً
بدي من خلالها أعمل extract للـ knowledge بعد هيك
الـ knowledge اللي أنا حصلت عليها بدي أعملها
evaluation وأعمللها presentation هذا اللي هيكون
محطة حضرتنا اليوم في موضوع الـ data mining task
لكن كنا سألناكوا سؤال أو كنا أعطاناكوا شبه واجب لل
discussion time series datatemporal data special
data و series ال sequence data أيوة من يبدأ يسمعنا
بالأول بس اللي حضروا الواجب أو حضروا الكلام ده
يرفعوا إيديهم الشباب طيب الآن يعني في عندنا واحد
اتنين تلاتة أربعة خمسة ستة مش مجايبين سبعةليش؟ أول
محاضرة؟ أول محاضرة .. مش أول محاضرة .. okay ماشي
الحالة okay .. نرد .. نتمنى من الجميع يكون التزام
حديدي في الشغلات اللي إحنا عايش بنقض بها .. آه
مؤمن .. series .. time series data بصوت عالي بس
عشان كلنا نسمع و الكاميرا تقدر تربيت صوتك .. أيوة
it's a series of data
يعني هي عبارة عن مجموعة من البيانات مؤرشفة تبعًا
لظهورها الزمني، تمام؟ في حد حصل على شغل غير هيك
شباب، أيوة؟ هو الوصول للبيانات التي اتصل الزمن مع
بعضها لبعض ووصول إلى رمضان معين يمكن من خلال
التنبؤ بالقيم المتقبلة هيك أنت بتتكلم على الـTime
Series Mining، تمام؟ لكن احنا بتتكلم على الـTime
Series Data أيوة، حسن؟ Data connected to look at
Data جميعات بناءً على تغييراتها تبعًا للتسلسل
الزمني يعني بينجو سينا الشباب كل ال data اللي
مرتبطة بعامل الزمن بصيصنها على إنها إيش؟ الـ Time
Series Data، أمثلة مين بقدر يديني مثال؟ آه رامي
مثلًا
الأمراض، تطور الأمراض الـ Time Series
درجات الحرارة والرطوبة القياسات الطقس بشكل عام
غيره عدد مثلا المسافرين خارج البلاد زيادة الكثافة
السكانية الكثوف والخصوف الظاهر الطبيعي السؤال يا
شباب الفترة الزمنية هذه هل لها better معين يعني كل
دقيقة كل ثانية كل ساعة كل يوم كل .. كدهففي الآخر
أنت فعليًا جمعتي ال data كيف؟ يعني الآن تعوضت
الأرصاد، تعوضت الأرصاد بيحاولوا يجمعوا ال data
مثلًا على مدار الأيام لكن ال sensor بيزودهم،
بيزودهم بالقراءات على مدار الساعة وبالتالي كل ثاني
عنده قراءة لكن هو متى، بإيش بيحتفظ؟ بالقراءات اللي
بيصير فيهاتغيير وبيجي يقولك والله هاي تبع للزمن
كان كذا يعني دائما ال data مرتبط أو تجمع بعامل
الزمن temporal data temporal data هاني ال temporal
.. هاني هاني بقول ان ال temporal data هي عبارة عن
dataكنا معنين شغلتين الـ state الحالة والفترة
الزمنية اللي ظهرت فيها الحالة هاي غيره انا عبدالله
كريم temporal يعني
انت حصرتليها في الوثر جبتلي مثال عليها temporal شو
تعريف ال temporal data؟
طيب، related to time and instance
ما زلت بتتكلم عن ال time series ال state .. الحالة
.. شو .. التغير اللي في الحالة .. كيف كانت .. يعني
أو كأن الآن .. هذا الزمن .. هذا الزمن .. هذا
العامل الزمني .. كيف الحالة كانت هان و الحالة كانت
هان و الحالة كانت هان
بين الـ time series و ال temporal وجود الحالة تبع
ال object يعني لاحظ أنه أنا قاعد بقى أتدور على
حالة ال object بدورش على specific valuesعلى value
يعني لما أتكلم على حالة أو ال state غالبًا لما
أتكلم على table of values مجموعة من القيمة عشان
تصل تمامًا يعني أسقطها على ال object oriented ال
state هي عبارة عن مجموعة ال values اللي حملتها ال
attributes اللي عندي ممتاز ال special data special
data يا رهنصبر ايه يا أهب special ماكتبتش
عدها مؤمن special
ماذا رأيك يا عمر؟ انه مع المطحون كأثمان دي هتفيلوا
قيمة رقمية في نصات ال .. ال .. ال .. الاحتياطات ده
100% الان الشغلة الجديدة اللي هتدخل على الموضوع في
الـ Special Data ان الموقع الجغرافي او الاحداثات
الجغرافية مهمة جدا تمام؟ ان انا فعليا بدي اشوف ايش
القيم او ايش ال estate او ايش التغييراتواخد
بالمعيار أو بعين الحسبان المكان الجغرافي اللى
موجود فيه ال object أو الشغلة أو ال event اللى أنا
بدي أشتغل عليهاكل العلاقة لها علاقة بالـ GIS لأنه
فعليًا كل الشغل بدور وين .. هان .. الآن لما يجي
بتتكلم بتنبؤ بالزلازل و الشغلات هاي كلها داتها على
special data بناءً على الـ historical data اللي
موجودة و المعرفة الحالية و اللي بيصير على وجه
الأرض بيصير يقولك و الله ممكن يصير زلزال في المطر
هم كيف هيتعرف يقولك زلزال متوقع يصير زلزال في عرض
.. في العرض البحر على بعد مش عارف جداش، قوة كده
بناءً على ..Special data اللي موجودة عندنا إيش
الأخيرة؟ كانت الـ sequence إيش الـ sequence data؟
فرخ؟ statistically relevant patterns between data
و values طب أنا حرم لو قلتها بالعربي يعني نفهم
إحنا منك أسهل هيك على السريع أيوة اللي هو data
مرتبطة بعض إلى مفتوح مثلًا فيه طب إيش الفرق بينها
و بين ال time series؟أيوة أحمد وممكن تستعيني
بتايمر لأنه ساكت يعني مالهاش
علاقة بالزمن؟ مالهاش علاقة بالزمن؟ مالهاش علاقة
بالزمن؟ مالهاش علاقة بالزمن؟ مالهاش علاقة بالزمن؟
مالهاش علاقة بالزمن؟ مالهاش علاقة بالزمن؟ مالهاش
علاقة بالزمن؟ مالهاش علاقة بالزمن؟ مالهاش علاقة
بالزمن؟ مالهاش علاقة بالزمن؟ مالهاش علاقة بالزمن؟
مالهاش علاقة بالزمن؟ مالهاش علاقة بالزمن؟ مالهاش
علاقة بالزمن؟ مالهاش علاقة بالزمن؟ مالهاش علاقة
بالزمن؟ مالهاش علاقة بالزالتغييرات لاحقا، هو هذا
هو محط الدراسة وأكثر مثال إليها اللي هو الـ DNA
Sequence في أمثلة تانية الـ Web Serving الـ Web
Serving الـ Web Serving، Ok اللي هو تصفح الإنترنت
للأشخاص آه يا هاشم، إيش فيه عندك؟ نفس ما قالوا،
حضرت يا هاشم؟ ماشي الحل تمام، يعني فعليا أنا في
الـ Data Mining بقدر أشتغل في كل الإتجاهات سواء في
الـأرقام؟ طيب، بدي أسأل في الـ Biology في الـ
Geography في الـ Geology في كل المجالات أنا ممكن
أشغل بناءً على ال data اللي موجودة سؤال اللي بيطرح
نفسه الآن أنا بدي أروح أدرس سوق أو حالة سوق فلسطين
للأوراق المالية يعني بين قوسين بورصة فلسطين تحت أي
نوع من أنواع ال data تبيجعtime series في حد بيقول
غير الكلام هذا special .. special .. special ..
special .. special .. special .. special ..
special .. special .. special ..
special
.. special .. special ..لكن الـ location الـ
location هو بيكون في صميم العملية و دائما بأثر
تمام؟ مثل الناس اللي بتشتغل في التنقيب عن النفط و
الدهب الآن الـ special data جزء من شغلها جزء من ال
data تبعتهم يعني أنا بدي أروح أجيب الله البيانات
عن أنواع التربة أنواع التربة و اتنبأ على طول
فلسطينتمام؟ أي منطقة ممكن ألاقي فيها .. أفحر فيها
منجم دهب مثلا هاي special .. هاي special تمام؟ لكن
سوق أوراق الفلسطين .. الأوراق الفلسطين .. أو سوق
الفلسطين الأوراق المالية أنا بتكلم على time series
data هل ممكن تكون هذه temporal data؟ هل
في الها state؟ يعني بين جوسين؟ماشي بحكي ما هو أنا
كنت مبارح مرتفع اليوم ممكن أنخفض ممكن في الساعة
هادية بقى أنخفض شوية بعد نص ساعة أرتفع هل فعليا
أنا بدور على state يعني بين بوسينة هل في عندي
السوق كله اللي بيرتفع و بينخفض مرة واحدة ولا شغلات
بسيطة إذا كان السوق كله مجموعة القيم كلها مع بعضها
ممكن أتكلم عليها temporarily لكن إذا كنت بتكلمإنه
لأ، السوق هو عبارة عن مجموعة من الأسهم إيش من
الأسهم بتطلع و إيش بنزل و إيش ثابت معناته أنا
بتتكلم على time series و مافيه dependency ما بين
الأسهم اللي موجودة بشكل عام تمام يا شباب على
الأسهم، على تداول الأسهم اللي موجودة أسهم
الإتصالات، أسهم الجوال، أسهم شركات التأمين ..
أكيد أكيد أكيد أحنا مش مختلفين معاك لكن هل الآن
هذا لما أنا بدي أروح أجيب ال data تبعتي و بدي
أشتغل عندهم هيكون الوضع السياسي اليوم كان في عنده
قصف في المنطقة الفلانية هذا لا يذكر في ال data
اللي موجودة وبناء على هيك احنا بنفترض دائما أن
أحنا شغالين في ال ideal case أن الحياة ماشية تمام
مش فيها مشاكل وبدنا نعمل دراسة للموضوحة لأن
بالمناسبة لحظة الحروب كل الدراسات هذه مالهاش معنى
بتصير لأنه بتصير الأولويةللحياة الأولوية من أجل
الحياة تمام ندخل في موضوع محاضرتنا اليوم نص ساعة
هنا عملنا refresh كويسة تلت ساعة فعليا بعد ما انتم
اتأخرتم خليني أروح باتجاه نتعرف على ال data mining
task اللي بدأ نشتغل عليها لما أنا بتكلم على ال
data mining task معناته أنا قاعد بدور على النمط
اللي انا بديأو الـ knowledge اللي أنا بدي أشوفها
اللي بدي أستخرجها الآن الناس اللي بتنقب على الدهب
عاملة حسابها بتدور على كل شغلة صفرة بتلمع وهذه
عينها دائما اللي بتغسل في التربة و بتصف فيها عينها
على هي شغلة بينما الناس اللي بتنقب على الحجار
الكريمة بتدور على الألوان الجذابة أثناء البحث مولا
لأ؟ يعني ممكن عفوا أن الدهب يكون أشبه بالرمل
بالترابلكن الحجار الكريم لأ، هي فعليًا نوع من
أنواع الحصة هيكون وموجود عندنا اللي بده ينقب على
البترول، كل الكلام هذا مابيعنهوش لحد ما فعليًا يصل
للبترول الخام ويبدأ يظهر في التربة بشكل جليب ويقول
أنا أصلت فإحنا فعليًا ال data mining task هي عبارة
عن أنواع ال patterns اللي أنا بدي أدور عليها،
أنواع ال knowledge، المعرفة اللي أنا بدي أدور
عليهاوبالتالي أنا قاعد أتكلم على مجموعة الـ
functions اللي تمثل ال task هاي عادة أو بشكل أساسي
ال data mining task تاخد واحد من ال two trends إما
descriptive وصفية أو predictiveتنبؤية بالوصفية
الهدف منها بتكون ان انا اقدر اوصف ال data او اقدم
وصف جديد لل data تمام؟ و هلاقد هشوف معاكم مثال
برضه بشارككم كويس معايا و بخلينا نفرج بين اتنين
بشكل واضح بينما ال predictive taskهي بدي أنفذ تقصي
أو تحقيق أو دراسة أو تحليل لل data عشان أقدر أتنبأ
مستقبلا ل instance معينة يعني أنا بروح بأدرس وضع
السوق الحالي عشان أتنبأ إن قيمة السوق هترتفع ولا
تنخفضطب، متى أنا بدي أتنبأ؟ في اليوم؟ لأ، الأصل
لكمان ساعة مثلا لإن السوق مثلا بتغير كل ساعة مثلا
كمان ساعة، بتعرفش هو وضع السوق بكرا، بتعرفش هو وضع
السوق بعد أسبوع، بعد شهر، بعد سنة هذه مفهوم التنبؤ
لكن كله بناء على إيش؟ على ال current data البيانات
الحالية اللي موجودة عندى طيب، الآن هاروح معاكوا
على الصورة هايمش واضحة كتير هساعدك في الصورة لأن
الإضاءة شوية وحتى و الصورة تبعت كمان بلور باهتة مش
كتير الصف الأول طبعا هدولة ميت صورة الصف الأول
مجموعة من الطائرات الصف التاني مجموعة من السيارات
التالت مجموعة من الطيور كلها طيور منزلية بالمناسبة
الرابع مجموعة من القطط الغزلان
الـ Dogs، الكلاب Frogs، ضفاضع Horses، حصن Boots،
نوارب Trucks أو شاحنات هدولة عشر أو هدولة ميت صورة
هدولة ميت صورة الآن افترض إن هدولة هما ال data set
اللي موجودين عندك هذه ال data set ممكن تكون هيك
ميت صورة الآن خلينا نروح باتجاه ال descriptive
mining tasksبدي أديك مثال على واحد منها، لو أنا
إجيت سألتك، قولتلك، هين ذكرتلك الصور، إيش هما،
بناءً على معرفتك السابقة اللي انت اتراكمت على مدار
تسعة عشر أو عشرين سنة بال object هدول، جسملياهم
لمجمعتين،
لاحظ؟، بدك تجسملياهم لمجمعتين و بدك تديلي وصف مقنع
للإيه؟ للعناصر أو للمجموعتين لهدول؟ آه محمد شوي ده
.. جمادات وكائنات حية .. جمادات وكائنات حية .. مين
بيشارك محمد في التقسيمة هاي؟ أو بوافق على
التقسيمة؟ كلها .. منطقية؟ جدا .. جدا .. الآن مين
الجمادات؟ السيارات .. طيارات .. السيارات ..
والقوارب ..والشاحنات فعلياً هدول واحد، اتنين،
تلاتة، أربعة بمثل 40% من ال data set مصبوط والستين
في المية اللي ضالوا في الكائنات الحية تصنيف تمام
وجميل مائة في المائة ومافي عليه أي غبار معقد
المسألة .. آه يا محمد وسائل نقل حيوانات سماها
تسمية مختلفة صحيحة مئة في المية مافيش مشكلة فيها
غيره يا شباب حد في عنده أي تسمية تانيةطيب، الآن يا
سيد العزيز هدولة المجموعات بديش يهم مجموعتين،
بديهم أربعة،
بدي تلاحظ .. خد وجهتك و أنت بتفكر في الموضوع و
تشوّر أنت و جارك، مافيش مشكلة عندك، بدي تلاحظ أنه
الآن بدك .. دماغك هيعصر أكثرلأ انت الأن مش ع كيفك
زي ما أنا ألزمتك بالتنتين، الآن جسمليهم لأربع
مجموعات، بديش تلاتة، بدي أربع مجموعات
اصبر ..اصبر ..اصبر ..اصبر ..اصبر ..اصبر ..اصبر
..اصبر ..اصبر ..اصبر ..اصبر ..اصبر ..اصبر ..اصبر
..اصبر ..اصبر ..اصبر ..اصبر ..اصبر
وسائل لقى الجوية وسائل لقى البرية وسائل لقى البرية
طيور وحيوانات طيور وحيوانات طب
ما قلتلك قوارب انا معناته الان لاحظ ان انت ضيعت 10
% من الداتة انت مااستفدتش منها معناه ذكرتلك إياها
قوارب قلنا عدناهم هدولة عشر فئات مختلفات بدنا
نجسمهم على أربع أه هاشم
وسائل المواصلات برمائيات وقيور وثدييات الدفاضع ..
برمائي مش مشكلة .. انا راح اكتب على اللوح شباب طيب
مش مشكلة طائرات
يلّا يا هاشم أربعة أربعة تصنيفات بدنا منك صنفهم
عيدهم تاني بعد ما كتبنا برمئيات هاشم بصنفني لياهم
الآن برمئيات طيور .. طيور ..
أربعة
غيره وسائل نقل جوية .. وسائل نقل جوية
وحيوانات okay نيرو خلاص
الوصف بيكون مبرر في
الأخر هذا اسم المجموعة يعني صنف شوف جامعة الخير
كمان مرةيعني إيش .. إيش ال .. إيش ال data mining؟
إنه كل واحد بدي يشوف ال .. ال analyst بدي يطلع ب
pattern ماشوفهوش سابقا، تفضل مجموعة جوية و بتضم ..
بتضم مين؟ أه الطائرات والطيور، بس ال judge بطيرش،
بنطيره
مش هتقدر تصنفه في المجموعة الجوية ايوة وانبك تصنفه
في البرية اه التصنيف اللي انا فعليا اجتهدت شفته
كتالي قلت انا انا انا انا انا انا انا انا انا انا
انا انا انا انا انا انا انا انا انا انا انا انا
انا انا انا انا انا انا انا اناالـ Living objects
هدول و Non-living objects التاني مش مختلفين عليهم
بالـ Non-living objects في منهم بيسير على عجلات و
في منهم بدون طائرات و قوارب بدون عجلات سيارات و
شاحنات بالعجلات تمشي على العجلات الطائرة هاش
الحالة في طيارة مسيرة فيهم هان برضه برضه عجلاتفيه
في الآخر العجل مش هو الأساس الحركة تبعتها اللي أنا
بدي أقوله فالآن على عجلات و بدون عجلات هذا ال non
-living object طب و ال living object؟ مثلا؟
ليش؟ ال judge أليف و غير أليف؟ أليف و غير أليف؟
الآن لمن قال لك الغزلان أليفة؟ حرام عليكولا تضفضع
ولا تضفضع أليفة كمان الشباب مقصود بال ألف
الاستئناس هل لما تجرب من الغزالة بتقولك اتفضل تشرد
دليل إلا غير لو ربيتلك أسد يعني زي ما بتربيها زي
ما تربي الأسد عندك بتصير أليفةبس يعني خارج المنغ
انت الآن ماحناش تقولنا understandable أو
actionable ولا لأ بيترتب عليها معناه هذه التصنيفات
لاحظ إنه أنا عمالي بحاول أخد منك وصف جدمتلك طلب
بدي منك أربع مجموعات وزودني بالوصف لكل مجموعة
descriptive من وين جبت الوصف؟ من ال data set اللي
موجودة من ال data set اللي موجودةطيب .. قولنا
descriptive و predictive descriptive زي ما شوفنا
في ال .. في ال predictive قولتلك أنا عندي object
بيمشي على رجلتين دسمه مغطى .. بتنفس وبياكل مغطى
بالريش تمام؟
وين بقت صنفه؟ غزال في الحيوانات الغير قليفةالآن
سابقًا قبل ما أقولك هذا أنا باشر بقولك أنا في عندى
جامعة الخير تلت تصنيفات أو أربع تصنيفات أربع أقسام
معروفات كائنات حية أو كائنات غير حية كائنات الحية
فيها قسمين إشي الآن فيها طيور و حيوانات و فيها ..
و الغير حية فيها مثلًا عجلات و بدون عجلاتصنفلي
الآن الكائن اللي أنا ذكرتلكي إياه بيأكل وبيتنفس
وبيمشي على قدمين وإله ريش مباشرة هتروح تقولي هذا
فئة الطيور بناءًا عليش أنت حكمت بناءًا على ال
knowledge اللي أنا فعليًا أخدتها و بعرفها عن كل
صنف من الصخفات أو الأصناف التالية وهذا هو ال
predictive بارك
يا مؤمنماشي الحق، بلاش، طيب، الآن من
الـdescriptive task اللي عندي ال clustering اللي
احنا اشتغلناها مع بعض لما قلتلك جسم ال data set
لمجمعتين لأربع مجموعات ال outlier detection لو أنا
اجيت قلتلك في الطيور إيش كان ال outlier عند محمد
غنيم؟الجاج كل العناصر أو كل الصور اللي موجودة تمان
صور فيها عصافير أو كأو طيور تطير تمام flying معدد
دجاج هم صورتين فكانوا هدول بالنسبة لمحمدمثابة ال
outlier هم اللي بت .. يعني لو .. لو طريق .. لو
الاص .. لو هدولة الصورتين مش موجودات كان قولنا
لامحمد والله تصنيفك تمام بس ايه قولنا هدولة
outlier الان تخيل ان هدولة فعليا كانوا مش اتنين ل
تمانية اتنين ل تمانية وتسعينفعليًا بقول هدولة
outlier شواذة يعني كل اللي عندي فعليًا real birds
بصير أسميهم birds ممكن أقول لأ قيور خلاص لأنه
فعليًا بستخدم الجناحين كوسيلة حركة الآن عادة ال
outlier كم ذلك في الصحة الآن الصحة هي الأساس المرض
هو ال outlier اللي موجود عندي أنا عادة بروح بقى
أشتري من الدكان اللي في جنبيمعدلي في الشهر مثلا
باخد منه 400 شكل وهذا الكلام معروف يعني 400 plus
or minus عشرة عشرين مش قضية plus or minus عشرين
رحت في الأشهر من الأشهر لجته 700 outlier في ال
history اللي موجود عندك هان، تمام؟ وبالتالي ال
affinity analysis أو اللي احنا بنسميه ال
association rules معامل ارتباط الأشياء مع بعضها
جديش مثلا التدخين مرتبط بسرطان الرئة جديش فقر الدم
مرتبط بسرطان الرئة أو الشغلات اللي زي هي كانت جديش
الحالة الاجتماعية بتأثر على الطالب تمام على تحصيله
العلمي إلى آخرين في ال predictive في عند
classification وفي ال classification بدي أعمل
predict لمين ل category لفئة الفئة هذه بتكون محددة
ومسبقا في ال regression بدي أعمل prediction لvalue
certain value قيمة بذاتها وفي ال recommendation
بدي أحاول أعمل predict لل preference للشغلات اللي
ممكن تكون مفيدة للشخص هذا نبدأ بنوع من التفصيل
للعناصر اللي موجودة هنا في ال classification زي ما
قلنا هي عبارة عن predictive data mining task
classification predictive data mining task بدي
أتنبأ في ال data set عادةبتكون تحتوي على شغلتين يا
جماعة الخير أو نوعين من ال variables نوعين من ال
attributes النوع الأول اللي هو مجموعة ال
explanatory variables أو المجموعة الاستكشافية
المجموعة المميزة سميها زي ما بدك الفكرة فيها هذه
عبارة عن مجموعة ال attributes اللي بتحمل خصائصالـ
object خصائص ال raw اللي أنا بتكلم عليه والتاني هي
عبارة عن ال target variable يعني بقاجي أقول أنه
أنا عندي data set فيها كتالي هاي ال target
وهان مجموعة ال fields اللي موجودة مجموعة ال fields
كالتالي
brief
نفس eat fly
whales
feather مثلا هي هدول الآن التنفس يأكل يطير عجلات
ريش و ال target ال role أول breathe
no eat no yes بحط X
wheel yes no وانا في عندي plane في المقابل في عندي
أنا breathe eat fly no weather ريش هيبرد
الآن لاحظ أنا جاهز بجهز ال data set طبعا هذا بيكون
وصف للعناصر اللي موجودة عندها
الآن يا جماعة الخير المفروض أنه كل row من ال rows
هي تتبيه تست لما هنتكلم عليها لأ ممنوع يتكرر تكرار
ال rows لا يضيف شيء في المعرفة عشان هي class كل
row يكون مختلف عن التاني عشان يقدر ال system و هو
بيتعلم يقدر يجمع أكثر قدر ممكن من ال different
properties لمين؟ لكل class بنجي بنقول هان breathe
بالخطأ yesno wheels feather وهنا
plain الآن شو رايك بال breath؟ شو يعني بدها؟ بدها
cleaning هانا بيجي جزء ل cleaning الآن أنا في عندى
باك تعدى error inconsistentو لا missing و لا noise
inconsistent يعني
في تعارض ما بين ال two attributes غالبا هذه noise
data خطأ في الإدخال طبعا مافيش .. مافيش .. لا في
تمام؟ الآن .. هذه الآن ده المقضوب من في ال
classification هذه كلها ال attribute هدول صححتها
و .. وصححتاش تمام؟
explanatory و variables اللي أنا فعليا بدي أستكشف
من خلالهمالـ properties الـ different properties
عشان أربطها أو أشوف إيش بتميز ال target بيان جوسين
بدي أستكشف زي ما انتوا بتفضلوا ال target من خلال
ال attribute هاي ببدأ بأدرس العلاصر املاحظين أنا
في عنده تلت شغلات أساسية مرتبطة بال bird الأكل
والشرب والريش وال featherمصبوط؟ عفوًا الأكل والنفس
والأكل والريش ال flying مرتبطة بالطائر؟ لأ لأن
العنصر التاني أو ال class التاني بيشاركي الطائر
طبعا ماهيش الشغلات المرتبطة بالطائرة ال
discriminative attribute اللي عندي ال wheelالـ
Wheels تمام؟ و الـ Fly يعني مع بعضهم إذا الـ Fly و
الـ Wheel فخلاص على المضمون فهيك أنا صار في عندي
knowledge بقدر أقول أنا general knowledge و هذه
valid و الأصل هي تكون novel أن أي object عنده
المقدرة أن يطير وله عجلات فهو دائرة تمام؟
محمد أبو حاسم يقول لك كل قاعدة شوية بناء على ال
data set اللي موجود عندنا هنا كمان مرة يا جماعة
الخير لما أنا بأتعامل بأتعامل ضمن ال data set اللي
موجودة لاحظ سابقا في الصور مسألة cash و الدبابات
وين صنفتها أو وين جسمتها ليش؟ لأنها مش موجودة
وبالتالي أنا بأشتغل ضمنحدود ال data 6 تبعتي و
بعدين لما اتكلمنا عن ال validity تبعت ال pattern
تبعي ماقلتش ضروري يكون one hundred percent ماقلتش
انه لازم يكون مية في المية دقيق لكن قلتلك with
some degree of certainty مع نسبة معينة من الدقة
النسبة هاي عشان يكون في مجال لقبول او رفض البيانات
ملك لأ نعم
هو الـ data set لازم تكون التنين موجودات عندك انت
الآن ال data mining task تعمل analysis للـ
explanatory تمام؟ عشان تعمل prediction لاحقا لل
target هذا
اللي عند الطائرة و تتنفس تمام، الان احنا عرفنا
لأنه عندنا كم؟ أربعة أو أربعة روز100% عادة الـ
missing data أو الـ noise data مش بسهولة الكشف
عنها وإلا كان ما جال cash إنه فعليا أنت بدك تجد
وجد وانت بتدرس البيانات اللي موجودة إيش أنت بتروح
بتساوي؟ بتروح بتقوله مثلا إيش ممكن أساوي ال
attribute هذه؟ دور أعمل ال maximum و ال minimum و
أعمل association ما بين ال attribute و ال
attribute التاني زي ال association مع ال attribute
و ال targetلحد ما تصل لارتباط لكن برضه بتظهر
الفرصة أن هذه تبقى مثل ما هي لأن من اللي ممكن هذي
يعملها bridge لو أنت ماشوفتهاش حجم البيانات الآن
هذه واحدة تمام خطأ واحد في مائة ألف record قدش
تأثيره يكاد يكون صفر يكاد يكون له تأثيرلكن يكاد
يكون صفر لكن لو هذا العنصر واحد من عشرة أو واحد من
أربعة زي هيك صار تأثير و 25% على ال decision تبعتي
في الموضوع أيه رأيك؟
تمام، بس أنا الآن .. الآن هذا تماما مثل المثال
السابق اللي عرضتلك مجموعة الصور قلتلك هي .. أنا بس
حاول تكتب ال data set قدامك المفروض أنا عرضت ال
data set سابقا جهزت ال data set سابقا زي ما
اشتغلنا بالمثال تبع المحاضرة الماضية الجدول اللي
فيه الصناديق الحمرة و ال .. ال .. و الكون اللي هي
القمع و ال .. و الكورة الزرق تمام؟ و ربطنا
بالأوزان قلتلك هي ال data set و شوف ال patternلأن
أنا بس كتبتك قدامك و أنت معايا واحدة بواحدة لو جيت
عرضتلك إياها بالشكل هذا و قولتلك يا رامي شوف لي ال
patterns اديني pattern للطائرة و اديني pattern
للطائر إيش هتروح تقولي؟ هتاخد مني وقت بسيط أو طويل
حسب حجم ال data set و تبدأ تدرس العناصر E to bird
to feather معناته bird otherwise
وعادة هدف ال binary classification يا شباب دائما
بصير بدور على ال more strongest rule
أو value باجي بقول مين أجوى عندي تنفس و أكل و ريش
مع البارد ولا عجلات و طيران مع الطائرةحسب ال data
set اللي عندنا هنا، مين أقوى؟ يعني هيك
أنا قلت يا عزيزي اتبعت انه برد توصف الليلة بعدها
.. لا لا لا، ما هو انا هيك جايك، انا جايك لاحقا
أجي أقولك التالي، انت ما خلنا .. ما خلنا نخصناش
احنا، الآن هي ال data set اللي عندك وجيت قلتلك أن
الآن أنا في عندي object، عندي object واضح أنه
بيتنفس، والمعلومات اللي عندييقول إنه بيأكلش وبيطير
ومالوش عجلات وإله ريش عصفور
عيّان، أه؟ لأ، مرت حردانة منه بس دو ده نفسه مضرب
عن الطعام الآن إيش التصنيف هذا لل object هذا يا
راني؟كيف أشيله؟ مش عكيفك هذا واحد من التنين اللي
عندك حسب ال role لازم ال algorithm تديني قرار bird
ولا plane؟ ليش bird؟ لأنه بتنفس ويله ريش فهو 90%
من ال role تبعت ال bird تنطبق عليه بتنفس و بطير
ويله ريشومالوش عجلات وبالتالي أنا قاعد أتكلم على
80% من خصائص الطائر موجودة عنده فهو طائر تمام؟
هذه ال prediction هذه البيانات بتلزم في مرحلة ال
learning مرحلة ال analysis عشان أبدأ أبني rules في
تحديد ال object هذه في مرحلة ال prediction باجي
بسأل بقول والله okayالـ .. في سوق أوراق فلسطين
المالية ساهم شركة الاتصالات على مدار عشر سنوات
بيطلع و بينزل تمام؟ بكرا كيف وضع السهم؟ بناء ..
هتكلم مفروض منه كيف وضع السهم بكرا؟ بده يرتفع ولا
بده ينزل .. بده ينخفض؟
حسب ال data تبعتنا الآن مثلا كان واضح في ال
pattern .. واضح في ال pattern أنه في الأيام .. في
الأيام اللي بيكون أو مثلا في فصل الشتاء و اللي
بيكون فيها مطر غزير تمام السهمي بينزل بكرة .. هذا
ال pattern هيك بيقوللي ال historical data هيك
بتقوللي بكرة .. بكرة واضح أنه في عندنا منخفضبرياح
شديدة تمام وكتير من المدارس أو عفوًا من الوزارات
أعلنت عن عدم انتظام الدوام في الغد ديني حالة تتسهم
بكرة ما بتقوليش لأ لأ لأ مش مش معروفة الزمن لأ أنا
متعلق بالزمن أما أنت حاجة أساسية موجودة التنتين
نفس الشغل يا رامي أنا ماقلتكاش الطائر بدون ريش
ها، الآن أنا ما قلتلكاش أنا طائر بدون ريش، تمام؟
لكن افترض إنه طائرة مسيرة أو طائرة صغيرة للتمويه
كسوها بالريش، تخيل، شو بقى كتقولليه؟ الآن إيجاك،
قالك في عندك object، لأ شباب أنت الآن، ماشي
الحالة، ممكن تضحك خدراحتك، لكن فعليا إيه هيك
السؤال المطروح عندك؟ وجوابك من هنا، يا بقى كتقوللي
بلين؟يا بقى تقوللي بيرت ومالكاش خيار تاني الآن
اصصبر شوية ..الآن قولتلك انه أنا في عندي object
object لا يأكل ولا يتنفس يطير وله عجلات ومغطى
بالريش جاوبني
ليش؟
مية لمية انتهى الأمر، إذا كنت تقول لي مافيش عنصر
أو مافيش وجود للعنصر هذا، بقولك أنت غلطان، ممكن
يصير زي لما قعدوا يدوروا ع ال bigfoot و لاجوا
عينات و شعر أسوذ و قجز و زي .. الآن أنا بدي أجيبلك
مثال على طائرات فعليا .. فعليا تغطى بالرشالطائرات
اللي بيحطوها ضمن أسراب الطيور و تصورهم انت بتحتاج
حساب على national geographic لما بيصوروهم
بيبعتولهم drone او بيبعتولهم طيارة عادية؟ لأ
الطيارة هذه بيكون او بيكون الكاميرا على طائر الآن
بيروح بيجيبله مجسم الطائر و بطيرله ضمن السرب عشان
ماينفرش منهالآن ضمن المواصفات هذا، أجل قلتلك، هي
في عندي واحد من العناصر هدول في كل السمات، سمات
الطير، لكنه لا يأكل ولا يتنفس، مباشرة، طيارة Spy
Bird، أنتوا أكيد مولعين بـ NBC2 Action يعني
أنا شفت في ال .. في ال document .. كل ال
documentary films اللي بيصور ل groups تبعت
الحيوانات و الطيور و الشغلات اللي زي هاي حل من
اتنين إما فعليا بركب الكاميرا على الطير وللأسف هذا
الكلام كان مرفوض تماما على الأقل مع الغربان لأنه
جتلوا الغراب أكثر من مرة اللي كانوا بيودوا يحطوا
عليه الكاميرا فكان البديل أن يحطوا شكل مجسم الغراب
تمام؟ والعيون هي بمثابة الكاميرا كذلك فشلت التجربة
مع البقاريق أن الطير اللي كان بيرحط على رأسه أو
على عنق الكاميرا تمام؟ كان بينتحر أو بينفر منه
القطيع تبعه أو المئسر المفروض
أعدمه في الساحة هم الخيانة وطنية عظمة
ماشي ماشي نشوف الردود الجميلة في الامتحانات ان شاء
الله نذكر
ناشي في ال classification أنا عمال بحاول معاك
أوصلك لل task إيش هي وكيف أنت بدك تبنيها الآن من
ال classification المعروف اللي بدي أوصلك إياه أنه
لازم ال class أو ال target predefined يكون معرف
مسبقا مش أنت اللي بدك تشتهي تتحطهبدي أكون معرف
مسبقًا مثل قال لي و الله في عالم الحيوانات في عندي
فقاريات و لا فقاريات في الفقاريات في عندي ذوات
الدم الحار و ذوات الدم البارد و هذا مرتبط بأرجل و
هذا مالوش أرجل في اللي في اللي لا فقاريات و إيه
جرح قال لي قال لي و الله عندي كائن حي يأكل و يتنفس
ما هو كله الآن يأكل و يتنفس و لا شراهك لأنه كائن
حي في الآخر قال لك الآن لا يحتوي على عظاملا فقريات
وليس له أرجل تمام؟ واتخذ الشكل الطولي حصرته يعني
انت لحظة ردتك مواصفاته وانت بناء على الكلام اللي
أنا بقوله انت وصلت لمين؟يعني مثلًا لواحد من الـ
two objects هدولة اللي موجودة عندي وبالتالي هي ال
classification أنت عندك معرفة بدك تبنيها من ال
data set عشان تتنبأ لو أعرضتلك حالة مشابهة ما
جُلتلك .. ما جُلتلكاش حالة منهم الحالة اللي منهم
الأصل أنت تديني one hundred percent وما تخطأيش
فيهم بس أنا بعلم cash عشان أختبرك في ال إيه؟ في ال
.. في الموجود اللي أنا بجهزك عشان تقدر تتعامل مع
ال case الجديدة
كيف يعني؟ مش فاهم يعني مثلا بالجانات الحياة
بتتنفسر .. أه هو الآن .. هسير لاحقا إذا الآن ..
الآن .. لما نتكلم في ال .. ال attribute أو في ال
selection إذا الآن ال attribute هذا كله فيه
constant value أو ال variation فيه قليلة فهذا ال
attribute useless فبحثوا فهم ممكن يديني إيش مش ..
ما .. ما بتنفس مثلا هم كل اللي عندك .. يقولوا كله
شرط يعني معناته بيكون outlierالفكرة كمان مرة، الآن
.. «أو ما تخدعش معين الأدبار» خلاص، هذا الـ «Raw»
بده ينشال مش لازم يظل موجود عندى أو الـ
«Attribute» هذا عفواً ببطل القيمة لأنه كمان مرة يا
جماعة الخير الأصل .. الأصل أنه أنا بأدور على
«Discriminative Attributes» صفات مميزة آجي أقول
على سبيل المثال آجي أقول والله الـ «Gender» بدي
أحطه من ضمن الـ «Attribute» فيهتأثير الحالة الصحية
تأثير الحالة الصحية لقلاب مدرسة الشجاعية
الإبتدائية للذكور انت ملاحظ؟ لأن هذا ال attribute
useless لأن ال society تبعتك اللي انت مستهدفها
كلها نفس الفئة فبالتالي هذا ال attribute مش مميز
نعم
ما هي اللي أنا قلته، عشان هيك ماكنتش الـFly هي
المؤثرة كنت بتكلم على النفس والأكل والريش، هدول
اللي طائر وكانت النفس والأكل أجوى، ليش؟ لأنه زي ما
قلنا ممكن يكون في عندي طائرة مغطا، مغطا بريش الآن
هذا مثال آخر، جاله هي ال data set هذا مثال شركة
تأمين، بدها تأمين السياراتشركات التأمين بتفتح عشان
تكسب من المصارى اللى بتاخدها حجب بوليست التأمين
الآن إذا كل واحد بده يسجل عندى أو بده يأمن عندى
بده يعمل حادث وانا بده أدفعله مات وانا هاخسر فالآن
قالوا بده نعمل دراسة نقدر ال risk تبع بوليست
التأمين high high ولا low جابونله ال circle data
عندهم هيها فيها ال age وفيها ال typeوفعلياً ال
risk في ال reality هذه الأحداث كانت موجودة عندهم
كانت ال risk high ولا low الآن مفهوم ال
classification أنه يجب أن يبني أو يدرس ال data set
high ويبني لي predictor أو يديني classifier عشان
لما أنا آجي أقوله والله أنا فيه عندي راجل عمره
ستين سنة وبيدو سوق sport car
الـ Risk High و لا Low؟ انت بقى بتقول High و غيرك
بدي يقول Low بس الآن مش على كيفك ال system بعد ما
بيعمل Analysis تمام؟ هيروح يديني Specific Rule وهو
اللي بدي يقوللي ال system هذا استخدمنا فيه
decision tree فقاللي إذا كان العمر أقل من 25 فال
Risk High مباشرة إذا ال age أكبر من 25تمام؟ العامل
التاني اللي في ال risk نوع السيارة إذا كانت sport
car فهي ال risk high otherwise ال risk low بالتالي
ال prediction تبعت هذه high تمام؟
هي المطلوب مني إن ال systemأو الـ Machine Learning
Algorithm كـ classifier ياخد ال data set يحللها
يبني decisions قرارات عشان يقول في الآخر ال risk
high ولا low بينفعش يقول intermediate
ولا بيقوله بالنسبة معينة، الآن هو تعلم عشان ياخد
قرار إما بـhigh أو low مافيش .. مافيش إله خيار غير
هيكده، الآن يا جماعة الخيار .. و هذه الميزة اللي
بتميز فيها الإنسان عن الآلة، الآلة بتعلم .. الآلة
بتعلمه high و low بس، فبيصير جوابك high و low،
مافيش .. مافيش عنده جماعة غير هيك، بتع .. لكن
الإنسان بيجي يقولك يا عم يصبر شوية، هذا ستين سنة
راجل عاجل وراكز ومش عارف .. وربنا ومنعم عليه
بالفلوس وين المشكلة الـ Mercedes Sport Car؟ هيمشي
فيها بالراحة، جماد أول الراجل، بخاف عليا لا تنخدش،
فهيمشي فيها بالراحة، فهذه المعايير بتصير عند الـ
human بتلعب دور، لكن عند الآلة strict، واحد زائد
واحد يساوي اتنينوبالتالي ال prediction يا رامي
تبقى على ال data set ما تقولليش أنت ال case طبعا
برجع و بأكد يا جماعة الخير اللي كانت المشكلة أنه
أنا رسمت ال data set قدامك أو حاولت أبنيها قدامك
بالتشاور معاك لكن لو حاطيتك إياها فجأة هتختلف
نظرتك تماما لا إلاالـ mining task التاني اللي في
الـ prediction الـ regression وحكينا فيها كتير
قيمة الأسس، قيمة السهم الآن لما أنا بتكلم في الـ
regression يا شباب إنه أنا فعلياً بتكلم إنه بدي
أعمل prediction ل value كمية المبيعات قيمة السهم
كمية المطر المتساقطة سرعة الرياح درجة الحرارةلاحظ
ولا مرة من المرات قلتلك بده يرتفع ولا ينخفض ولا
يبقى ثابت قلتلك اتديني value وغالبا بندور على
continuous value تمام؟ وهكذا .. هكذا أنا بتكلم على
regression .. regression task باجي بقول والله
أسعار المنازل في المنطقة الفلانية بعد تلت سنوات
كده هيتصيربناء على مواصفات المنزل 200 متر مكوّن من
أربع غرف مثلا وشرفة وإلى آخره وحديقة من هالكلام
هذا هذه المواصفات كلها بتقول إن البيت بعد هيكد
هيكون هذا حاجه مثلا 600 ألف دولار بعد تلت سنوات
هذه regression ليش؟ لأن فعليا أنا بتكلم على value
الـ Clustering في الـ Descriptive Data Mining
Tasks في الـ Descriptive البيانات الوصفية احنا
شفنا واشتغلنا مع بعض بالمثال الأول لما قلتلك
وزعلياهم لمجمعتين وزعلياهم لأربع مجموعاتفانت
فعليًا كنت بتوزع ال data points اللي هو الصور
كانوا عندنا أو ال rows اللي في ال data set اللي
عندي بناءً على ال similarity تبعتها في المجموعة
ليش ماحطتش الطير أو العصفور مع الطيارة؟ لأن فيه
إيه ال characteristics أو attributes خاصة عن
الطيارة فكان في مجموعة تانية لكن لو احنا مثلًا
بقولنا والله إنهم بيكونوا هدولة في مجموعتين وبناء
على سلوب التنقل الموجود كمان ممكن الطيارة والعصفر
يكونوا في نفس المكان ولا لأ؟ بناء على ال
properties أو ال characteristics لكن ال data .. ال
system كل اللي بياخده منك عدد ال clusters اللي أنت
محتاجها جداش .. كام cluster أنت محتاجه؟ اتنين،
تلاتة، أربعة؟ وبروح بصنفلك إياهمأو بعفوًا بجسملك
إياهم و بقولك العناصر كذا في المجموعة الفلانية
العناصر كذا في المجموعة التالية العناصر كذا في
المجموعة الثالثة في الرابعة و بعد هيك و بيقف لحد
الأربعة لا بيزيد خمسة ولا بيوقف عن تلاتة بناء على
ال similarity الموجودة هذه العناصر الآن اللي هي
دوائر اللون اللي باللون الأصفرفعلياً هي الـ data
set تبعتنا هي مجموعة الصور تبعتنا الآن واضح أنه في
توزيع ما بينهم إبعاد عن بعض في الرسم يعني فعلياً
قبيعتهم مقسمات مصنفات فكانت هذه واحدة هذه اتنتين
هذه تلاتة وهذا هو التجميع فبيجي دور ال cluster
algorithm بيجي يقول لي هذه العناصرمن كذا لكذا في
المجموعة الأولى، كذا لكذا لمجموعة تانية، كذا وكذا
للمجموعة اللي بعدها من الـ Outer طبعا فيه هنا مثال
على ال document clustering تجميع المستندات أو
تصنيف المستندات المستندات اللي موجودة على ال web
أو في ال Wikipediaممكن تصنف؟ أه ممكن تصنف، بناء
على إيش؟ بناء على المحتوى، معناته أنا بدأ أروح
أدور أخد ال frequent term أو ال frequent words
اللي في كل document تمام؟ و أحاول أعرف ال
categories اللي موجودة و أجسمهم بدون ما أعرف ال
categories اللي أنا بصير classification، هجسمهم
على مجموعات بناء على قربهم أو بعضهم، حسب بديهم
مجموعتين، تلاتة، أربعةفي الـ Outlier Detection
كذلك هي Descriptive Task Descriptive Task الآن
بتفرق شوية عن ال Clustering إنه أنا بدي أصير أدور
على النقاط البعيدة اللي مافيش شغلات بتشبهها لو أنا
أجيب و قلتلك هذا الرسم في الـ 2D لكل ال data 6
ببعتي الآن واضح إن هي هذه النقطةoutlier لأنه مافيش
شغلة حواليها مافيش إشي بشابهها مافيش بعيدة عن
الجيران نفس
الكلام النقطة هاي .. نفس الكلام النقطة هاي طب
التلاتة هدول أه بنقر يكونوا outlier التلاتة لأنه
لم يصلوا إلى الحد الأدنى من التجمع يعني أشيقول
والله مثلا أقل عدد .. أقل تجمع بدي اعتبره أربع
عناصر، خمس عناصر، عشر عناصر، مائة عنصر وبيتلاحظ
شغلة تانية كمانهدول كلياتهم جايات مع بعض as one
cluster على الرغم إن النقاط نوعا ما متباعدة وهنا
بيصير إنه ماحدش بيقول إن ال density تبعت ال
cluster اللي عندي تكون متساويةالمجموعات اللي عندي
مش بالضرورة تكون بتحتوي نفس الأعداد ومش بالضرورة
كلها نفس الكثافة واضح هذا أكثر كثافة من كل ال
clusters اللي موجودة عندي ولا لأ؟ بينما هذا هو
الأقل كثافة هذا الأكثر انتظاما هذا وهذا بينما هذا
لأ شوية في بعض لكن في الآخر بال outlier detection
أنا بكون بهمني فقط التعامل مع النقاطاللي هي
المنفردة أو المعزولة عن التجمعات اللي موجودة اللي
أنا عمالًا بحاول أحددها ممكن
.. ممكن .. انت مش ممكن تختصير تساوي تتحقق .. تتحقق
ال value هذه .. هذه صارت out لا يعني بسبب إيش؟
مثلًا في طائر و مش محطول إنه يتنفس ممكن أراح ..
أراح سجل الحالة تبعته بعد ما مات
طبعا؟ فهيبدأ تصير تسأل هذي ال outlier ليش كانت
موجودة
الان
بيصير في عندك مشكلة في ده يعني الان تخيل النقاط
موزعة هيك مؤمن بيقول
لا حتمًا في عندك مشكلة في ال data آه
آه ال outlier ليش أنا بدي أعمل عليها detection إذا
بهدف جابتلي طبعًا واحدة من ال learn من ال
preprocessing تحييض ال outlier لأنه بيأثر علىقرار
النظام أو على تعليم الـ system اللي موجود عندك
فانت data set بالشكل هذا data set غير منظمة فيها
مشكلة بدك تشوف الآن إيه السبب المشكلة هذه و تحاول
تتجنبها أو بتروح تحذف كل out layers point هاي اللي
موجودة عندك حتى لو بيخسر data كتير ماحدش بيقول إنه
data الآن يعني تخ ..الأصل الـ data بتكون ملائمة
وتكون ذات جودة عالية لل task اللي أنت بتتنفذها
وإلا مش هتحصل على قرار سليم لأنه كمان مرة إذا هذه
النقاط بدها تدخل في الحسبة لاحقا في حسبة القرار
بتصير تحرف القرار عن الصحة وبالتالي مافيش قدامك
اللي جار انت إيش تخلص منها
مش هني مشكلة لإن أنا فعليا بدور هل في عندي outlier
ولا لأ أديك حالة إن ال outlier هيصير بحد ذاته هو
المطلوب الآن إياد الشام بيستخدم بطاقة لإتمان
وبشتري معدل الشهر 250 دولار تمام؟ وهذا الكلام لل
trend تبعه له خمس أو ست سنوات من يوم ما أخد
البطاقةالشهر هذا شهر اتنين الفين وعشرين مشتريات
إياد الشامي تجاوزت الست مائة دولار على البطاقة و
احنا لسه على الشهر ماخلصش شو رأيك؟ outlier و هذا
اللي أنا بدي .. اللي بدي أتحقق خلاص بدي أوقف عشان
أتحقق من الحالة اللي موجودة عندي وبالتاليأنا قاعد
بقى أشتغل إن والله ال data set اللي عندي أو ال
outlier هي بحد ذاتها هي المطلوبة فممكن زي ما بنقول
للشباب إنه فعليا ال outlier هذه هي بحد ذاتها
المطلوبة ممكن تكون مطلوبة بسبب الحماية إنه أنا
فعليا الحركة هذه صارت .. مش هي الحركة الحقيقية على
حركة إياد الشامي ومن ثمالإحتمال الأكبر أنه في
البطاقة صُرِقت وبالتالي أنا إيش؟ بدي أوقف البطاقة
لحد ما أتأكد إنه فعليا هو صاحبها اللي عمال بيشتري
ولا لأ فزي ما قلتلك أحيانا الـ outlier بيلزمني في
الـ network traffic أنا الآن في الـ server الجامعة
كل طلاب الجامعة القدامة والجداد يعدوبهم خمسين ألف
قدامة وجداد بدي أقول كتالة اللي هم ال active واللي
ممكن يزوروا صفحتي الجامعة في لحظة من اللحظات ال
request خطأت الميت ألفمرة واحدة لأ واجه شوية في ..
في عمال يعمل .. عمال بتتعرض لهجوم معين أنا بدي
أنتبهله فبتصير ال outlier بحد ذاتها معرفتها أو
تحقيق .. تحقيق أو تأكيدها هي المطلوبة هي الغاية
بذاتها مش لإنه أنا بدي أبعد أستبعدها لأ لإنه أنا
هتعالج المشكلة هتترتب عليهاهذه صورة برضه مثالة للـ
Ozone، لطابقة الـ Ozone و للـ Outer Air Detection
آخر حاجة عندنا في الـ Mining Task اللي هي الـ
Association Rule، الارتباط، معاملات الارتباط أو
العناصر، قوانين ارتباط العناصر مع بطن، هان أنا
فعليا بأدور على Interesting Relationshipعلاقات بين
مين؟ بين الـ Variables لاحظ ما اتكلمتش على الـ
Target في كل الـ Descriptive Outlier و Clustering
ما اتكلمتش على الـ Target الـ Target فقط موجود في
الـ Predictive في الـ Descriptive مافيش وكأنه كل
ال data set هي عبارة عن explanatory variables وانا
بنصير أتعامل معاها فقط و أدرس العلاقة ما بين ال
attributes هاي من أكثر الأمثلة المشهورة جداًارتباط
الأمراض بعادات أو بتصرفات مثلًا سرطان الرقب
التدغين مثلًا فقر الدم بالسوق التخزية مثلًا
البدانة بعد ممارسة الرياضة والإفراط في الأكل هذه
الـ Association ليست على حالة وتنتين وتلاتة هذه
أصلحت حقائق لأن كل الـ datasetبتقولّي والله الوزن
الزائد مع سوق تغذية وتدخين أو إفراط في التغذية
والتدخين ومافيش رياضة موجودين، تمام؟ فهذه عبارة عن
ارتباط بيجي بقولّي في ال transaction في المبيعات
الناس اللي بتشتري الأصناف الفلانية هي دايما اللي
بتدور على الأصناف كذا يعني مثلا بروح والله أسين من
الناس بروح بشتري السمن حيواني من ال supermarket
بروح بيشتري مثلا بيشتري المكسرات
لدرجة معينة فالآن هذا ال trend تبعه هيه هيك و
بيصير و بيصير عند ال supermarket قناعة تمة إن فئة
الناس هدول اللي بتروح على السمن الحيواني هذاهم نفس
الفئة اللي بتدور على الشغلات هدول فبصير إيش ممكن
يعيد ترتيب العناصر عشان يسهل عليهم موضوع الشراء
نعمبصير ممكن أوفر عقدر باعرف هدول جديش هم من حجم
الزبائن اللي عندي و بصير أنا بجيب الكيمية اللي
تتناسب مع احتياجاتهم بدون ما أتضرر أنا من خسارة
فالـ Association Rules مهمة و تطبيقاتها واسعة جدا
جديش الناس اللي بتستخدم Android و IOS مقابلًا في
الـ Accessories و ارتباطهم في .. مع البرامج اللي
موجودة و إلى آخرهمففعليًا أنه أنا بأدور .. بحاول
أدور على set of rules أبني مجموعة من القوانين توصف
ارتباط العناصر مع بعضها وهذا عادة يكون ضمن قوانين
محددة مثلًا، جالي هذه في عندي transaction
لسوبرماركت بيف و chicken و milk، في عندي سبعة
transactions الآن، لو أنا سألت قداش عدد الناساللي
اشترت حليب و لحمة مع بعض آه أخدت حليب و لحمة بيف و
milk واحد .. اتنين .. اتنين هل انا لو انا سألت
هدول لو قرفت راطون هي ال data 6 بقعت يا رايمي بس
عشان انا اقدر اتخيل الموضوع مدي اش اقول والله لان
في ارتباط بين اللحمة و الحليب مثلاOkay، جديش هذا
الكلام مدعوم من ال data set؟ جديش حقيقة ما موجود؟
اتنين على سبعة، اتنين على سبعة نسمة متدنية، وصلتش
لخمسين في المية، ولا لأ؟ ولو أتينا مثلا، جديش
الناس اللي أخدت مثلا ال chicken و beef مع بعض؟
واحد، اتنين، واحد، اتنين،تلاتة ال beef و ال
chicken ال beef و ال chicken واحدة .. اتنين ..
تلاتة .. وين الرابع يا أخو؟ ال cheese .. ال cheese
.. جبنة .. جبنة .. تمام؟ الآن ال beef و ال chicken
هذا تلاتة .. هذا الارتباط أكثر بس برضه ماوصلش ..
بس لكن أفضل من الأولاني على الأقل ممكن يصير فيه
توجه أن والله أن الناس .. يعني مش كلها بتاكل لحمة
حمراء فبياخدوا اللحمة وبياخدوا الدجاج لأنهم هم في
البيتالناس مقسمين على موضوع الأكل ففي الآخر ممكن
أحسب ال support و أحسب ال confidence حنشوف ينجدش
دقة الكلام الرولي اللي أنا بتقول عليه هذا بشكل
صحيح فوزن التكرار .. اه التكرار مهم .. وزنه .. كل
موقف .. مثلا اتنين تكرر تسعة أربع مرات الملك لحاله
يعني بكون frequent item لأ المقصد أنه لو قسمنا كل
..لأ لأ هو الأنش كمان الفكرة وين إذا بتكلم عن
الملك لحاله هذا attribute إذا البيف لحالها دي
attribute، الآن باجي بتكلم هذا جداش ال frequent،
جداش الطلب عليه، okay لكن مش association،
association لازم يكون في عندي two different
attributes على الأقل متلازمين مع بعضهم، هدول اللي
أنا بدأ أور عليهمالـ Minimum Support والـ Minimum
Confidence هنتكلم عليهم لاحقا لما نروح على ال
cluster على ال association rule بالتفصيل الآن أخر
شغلة بدنا إياها في محاضرة اليوم جبل ما نتكلم في ال
tools يعني إحنا فعليا .. فعليا قدرنا نلخص اليوم ال
miling task الخمسة اللي إحنا بدنا إياهم اللي هم
classification regression as predictive tasks بعد
هيك clustering و association rules وoutlier
detection as descriptive tasks بالنسبة لل tools
اللي بدنا نشتغل عليها طبعا بإمكانك تشتغل بال data
mining أي شغلة programming languages ممكن python و
ال R و ال Java و software packages في عندنا ال
RapidMiner و ال Weka و ال Orange هذه أساس ال
software package احنا بالنسبة لناهنشتغل python و
RapidMiner فبدي اياك نزل على جهازك الان نزل على
جهازك RapidMiner point 9 RapidMiner studio و ال
python بدي تنزللي ال spider Anaconda distribution
ما هو عشان انا اريحك من تنزيل المكتبات هاي نزل الـ
Spider Anaconda Distribution تبع الـ Python هذه
فيها كل ال libraries اللي انت محتاجها، تمام؟ الله
عطيكم العافية ونشوفكم ان شاء الله لمحاضرة الجاية