Neural_Networks_Lecture_2
بسم الله نبدا محاضره اتنين. تمام كده. دلوقتي هنتعرف على ال main characteristics of neural network. هنشوف ال neural network شكلها إيه عامل إزاي وشغالة إزاي. تمام؟ قال لك احنا عارفين إن ال neural network بتتكون من تلات حاجات اللي هما ال activation function. تمام؟ دي ال function اللي بتـ limit ال range of output values of a node. يعني زي ما قلنا ما بتسيبش ال range مفتوح كده، بتسيبه بتـ limit لـ range صغير شوية. دايمًا من zero لواحد، sorry من negative واحد لواحد، من zero لواحد.
موجب بس كده يعني، تمام؟
عندنا برضه كمان حاجة مهمة في ال neural network اللي هي ال architecture أو ال structure. اللي هو إيه؟ اللي هو توصيلة ال nodes ببعضها، ال connectivity of neurons. تمام؟ عندنا حاجة كمان اسمها ال learning algorithm أو ال training method. تمام؟ اللي هو أنا إزاي بـ determine ال weights، إزاي بغيرها، تمام؟ وكده. تمام.
يلا بينا. أول حاجة عندنا ال activation function. تعالوا نشوف كده ال types of activation functions. قال لك ال activation function ممكن نسميها activation أو squashing function. تمام؟ اللي هي إيه؟ اللي هي إن ال output أو اللي هو ال net output اللي طالع لي تمام بستخدمه إزاي أو بغيره إزاي تمام؟
the mapping from net.
unit activation to output. قال لك إن أنا بحوله من net output to output عادي. تمام؟ اللي هو ال output اللي طالع منه. ده بعمله بال activation أو ال squashing function، تمام؟ بنعملها ليه؟ بنعملها عشان نجيب عشان نوصل لفكرة ال non-linearity. إن أنا لو أنا فضلت آخد ال output ده أكمل بيه كده، كده هتلاقي الدنيا linear معايا عادي جدًا، ما بعملش أي اختلاف، تمام؟ إنما.
كون إن أنا عندي activation function ده بيخليني أوصل لفكرة ال non-linearity، تمام؟ حتى لو أنا عندي activation function عبيطة، بس ده هو يعني مثلًا إيه؟ أصل ال activation function دي مثلًا ممكن تحدد إن features عندي آخدها أو ما آخدهاش، تمام؟ يعني مثلًا ممكن يبقى عندي مثلًا 10,000 feature بعد layer مثلًا يبقوا خمسة. طب ال features التانية راحت فين؟ اتلغت بال activation function، اتعمل لها squashing أو راحت أو تأثيرها قل وهكذا.
تمام؟ ده بتعمله ال activation function، تمام؟ وبتساعدني إن أنا أ limit ال domain بتاعي أو اللي هو يعني ال output بتاعي ل range معين، OK؟ عندنا أكتر من نوع من ال activation functions، تمام؟ عشان نخلي ال neurons تتعلم لازم نحتاج إيه؟ continuous function. تمام؟ طبعًا دي مش ما تركزش على continuous دي أوي يعني بنستعمل حاجات تانية عاديه.
يلا. أول حاجة اللي هي ال identity function. إيه يعني إيه ال identity function أو بنسميها ال linear function؟ اللي هو اللي داخل زي اللي خارج. اللي هو دخلك اتنين هتطلع لك اتنين، دخلك أربعة تطلع لك أربعة، دخلك ستة تطلع كأنك مش حاطط أي حاجة أصلًا. تمام؟ أهو ال Y اللي هي بتبقى عبارة عن function بتحطها على ال net output بتساوي ال net output كأنك ما .
function. تمام؟ عندك حاجة اسمها ال threshold. ال threshold دي بتقول لك إيه؟ بتقول لك أصغر من ال zero حط لي ب zero ، أكبر من أو يساوي ال zero حط لي بواحد. يعني السالب حطه لي ب zero ، موجب أو zero حطه لي بواحد بس كده. دي بنسميها إيه؟ بنسميها ال threshold أو بنسميها step عشان هي عاملة زي السلمة كده. تمام؟ لاحظ إن ال step function.
ما بتطلعش سوالب، يا zero يا أكتر، يا zero يا واحد، تمام؟ عشان هنشوف حاجة اسمها ال bipolar threshold أو ال bipolar step.
يعني الحاجة طالعة من ال summation function بيشوفها zero أو واحد؟
لأ بيشوف هي أصغر من ال zero أو أكبر من أو تساوي ال zero، بيشوف دي وعلى أساسه بيحط لك دي.
 اشطة. تمام.
 تمام؟ تمام. بيقول لك طلعوها العالمين مش عارف مين وبتاع، قال لك أهو هي بتقول لك بيقول لك معناها إيه؟ معناها إن ال output signal هتديك نتيجة.
لو كان الناتج بتاعك إيه؟ موجب. طب لو ما فيش نتيجة تحط لك zero، تمام؟ OK؟ فبيقول لك بيسموها all or none. هل دي continuous؟ لأ طبعًا دي مش continuous، أنا شايف فيها كسرة كبيرة كده. فدي ممكن نقول continuous بس مش differentiable حاجة كده، فاكر كان في كده كان في كده موضوع كده في ال functions أنت لو عندك function معينة.
continuous في ال function إن ال function تبقى كلها خط مستقيم ما فيهاش فتحات أو قطعات في النص. فدي continuous، تمام؟ لكن مش differentiable. Differentiable ما أقدرش أجيب لها ال derivative بتاعتها. تمام؟ في functions معينة في حاجات معينة بتحتاج تجيب ال derivative بتاعت ال function، فمثلًا حاجة زي دي مش هتنفع. بنستعمل حاجات تانية وتبقى continuous و differentiable. تمام؟
تمام؟ المهم نكمل. في عندك ده مثال على ده فاكر المثال اللي احنا حليناه المرة اللي فاتت؟ أهو قال لك خد المثال ده احسب لي ال output بتاع ال neuron. فأنا عشان أحسب ال output هنعمل إيه؟ هنحسب ال net output اللي هو عبارة عن WX WX WX WX اللي هو ال summation بتاعه، ال W في ال X ال W في ال X ال W في ال X يطلع لك تلاتة. بعدين قال لك أنا بستخدم إيه؟ step function. فال step function بتعمل لي إيه؟ بتشوف الناتج اللي هو التلاتة دي أكبر من أو يساوي ال zero؟ أه فتطلع لي وا.
تمام؟ طالما أكبر من أو يساوي ال zero يطلع لي إيه؟ واحد. تمام؟ تمام.
طيب نشوف اللي بعدها. عندنا هنا حاجة اسمها ال symmetric threshold أو بنسميها ال bipolar step أو ال bipolar threshold أو بص فكرة إيه؟ فكرة كلمة bipolar أو symmetric. تمام؟ معناها إيه؟ معناها اللي فوق ال x-axis زي اللي تحت ال x-axis. تمام؟
إنما لو تلاحظ اللي فاتت دي كانت إيه؟ كانت كلها أصلًا فوق ال x-axis، ما فيش حاجة تحت. فهي دي threshold أو step بس bipolar. فلاحظ إنها إيه؟ بدل ما كانت من zero لواحد بقت من negative واحد لواحد. تمام؟ أحيانًا بنسميها كمان ال signum, signum function. تمام؟
عندنا ال sigmoid. ال sigmoid دي مشهورة جدًا، تمام؟ قال لك أو قال لك إن في بعض الحاجات بتحتاج تبقى continuous و differentiable، تمام؟ فاحنا بنحتاج إيه؟ function زي دي كده. تمام؟ شكلها إيه؟ S-shaped كده، تمام؟ بنسميها ال logistic function، تمام؟ ولا logistic sigmoid زي كده زي بعضه. تمام؟ فهي بالقانون ده اللي هي 1 / 1 + exponential اللي هي ال E في ال negative A في ال value. إيه ال A ده؟ ال A ده ال slope param
تمام.هنعرّفه بس يعني أنت ال slope parameter ده بتاخده في المسألة ب given. هو اللي بيحدد شكل ال curve ده. أيوة أيوة . فهي 1 / 1 + exponential في ال value, negative A في ال value، تمام؟ كده.طيب ال slope ده بيفرق في إيه؟ بيفرق في المنظر ده. إن ده لو ال slope قليل جدًا، كل ما تكبر ال slope كل ما ال curve يبقى يبقى حد أكتر، تمام؟
أهو، فبالمنظر ده، تمام؟ فهي بيقول لك هنا بنستعملها عشان نـ approximate ال step function. فاحنا عندنا مثلًا step function وعايزينها تبقى differentiable وكده بنستعمل ال sigmoid. تمام؟ فده أشكال ال sigmoid بأكتر من إيه؟ بأكتر من A. OK؟ بيقول لك ال طب ال step function إيه علاقتها بدي؟ بيقول لك علاقتها إن لو ال A دي وصلت infinity.
هيبقى عندنا step function. تمام؟ لاحظ إن ال A كل ما تزيد تقرب من شكل ال step. تقرب تقرب تقرب تقرب. لو ال A دي وصلت لـ infinity هيبقى عندنا step function. بالظبط. تمام؟ تمام.نكمل كده دي ال sigmoid. تمام؟ عندنا حاجة اسمها ال hyperbolic tangent أو ال hyperbolic sigmoid أو ال bipolar sigmoid أو أو حاجات كتير. اللي هي ال tanh.
عندنا ال ramp أو ال rectified linear unit أو اللي اختصارًا ReLU. هي اسمها معروف ReLU، تمام؟ أو اللي بنسميها linear threshold أو whatever يعني اسمها ReLU. تمام؟ ال ReLU دي بتعمل إيه؟ بتقول لك لو الناتج negative حطه لي ب zero . طب لو الناتج positive طلعه زي ما هو. بتقول لك أهو لو الناتج أكبر من أو يساوي ال zero، هاتهولي زي ما هو، لو ال V أكبر من أو يساوي ال zero هات لي V.
طيب لو الناتج أصغر من ال zero حط لي zero. أهو شايف شايف شايف اللي قبل ال zero بـ zero، اللي فوق ال zero بإيه؟ زي ما هو. تمام؟ حلو. فدي فكرتها إيه؟ كده ال ReLU دي بتعمل إيه؟ بتحتفظ بالقيم الموجبة بس، تشيل لك السوالب، تمام؟
في عندك ال piecewise linear function. ال piecewise linear function بتتكون من تلات حاجات. إن هي عندها زي ما تقول كده lower lim
و upper limit. أي حاجة ما بين ال lower limit وال upper limit بحسبها بالمعادلة. طيب أي حاجة فوق ال upper limit بقول لها واحد، أي حاجة تحت ال lower limit بقول لها zero. تمام؟ طبعًا ال line ده مش أنت اللي بتجيبه بنفسك يعني هو بيبقى له معادلة. يعني يعني بتحسبه بمعادلة. فهنا مثلًا مديك مثال، مديك مثال مثلًا على الرسمة دي مديك إن ال lower limit negative نص وال upper limit.
نص. قال لك لو أنت أصغر من أو تساوي ال lower limit حط لي ب zero. لو أنت أكبر من أو تساوي ال upper limit حطها لي بواحد.
 لو أنت في النص اعملها لي إيه؟ V + نص. أو اللي هو ال output بتاعك يعني زائد إيه؟ نص.
V ده اللي هو طالع من ال summation؟  أه. حطهولي إيه؟ زائد نص. تمام؟ نكمل. عندنا ال softmax. إيه هي ال softmax؟ ال softmax يعني هي generalization of logistic func
function. سيبك من الكلام الهري الكتير ده، ال softmax بتعمل إيه؟ ال softmax بكل بساطة بتحسب probability. تمام؟ مديك هنا صورة لطيفة جدًا تمام؟ إن أنت عندك ال neural network أهي بتطلع لك كام output مثلًا؟ K outputs. تمام؟ فأنت كل مرة بتحسب إيه؟ بتحسب ال probability بتاعت ال object ده إن هو يبقى من ال class ده على summation ال probabilities كلها.
اللي هو بيبقى كام؟ بواحد. ما هو summation ال probabilities ده لو عندك 10 classes فـ summation ال probabilities هيبقى إيه؟ واحد. طب لو 100 class هيبقى برضه واحد، ما لهاش حوار يعني. هو الفكرة إنك بتطلع summation إن ال object بتاعك يبقى من ال class ده على أو sorry probability إن ال object بتاعك يبقى من ال class ده على summation كل ال classes
. OK فهي المفروض إن نواتجهم كلها بتجمع لك تطلع لك إيه؟ وا.
واحد. تمام؟ قال لك فهي takes as input vector V of K real numbers and normalizes it into probability distribution.
 probabilities يعني، تمام؟ Convert the output to probabilities by dividing the output by the sum of all output values. تمام؟ ال output بيبقى دايمًا من range zero لواحد وال sum دايمًا بيبقى إيه؟ بقى واحد. فدي بستعملها فين؟ بستعملها في ال multi-class classi
اللي هو مثلًا أنت معاك مثلًا صور مثلًا لحيوانات تمام وأنت بت classify كلب وقطة وأسد مثلًا، تمام؟ فأنت هتعمل إيه بكل بساطة؟ هتعمل ال neural network بتاعتك في آخر layer هتحط لها إيه؟ softmax. فهي هتحسب الصورة اللي داخلة لها probability إنها تبقى كلب، probability إنها تبقى قطة، probability إنها تبقى أسد. فطبعًا مجموعهم واحد فتاخد أعلى مجموع أو أعلى probability طالعة، تقول لك إن أه إن الصورة دي من ال class ده.
زي اللي احنا عملناه في ال project بتاع المادة. كنا بنحسب وبنحط في الآخر softmax. ونقول لها لو جات لنا مثلًا نسبة مثلًا يعني لو جات لنا الصورة دي مثلًا بنسبة يعني كنا بندخلها النواتج sorry بندخلها النواتج ونقول لها إيه؟ نقول لها مثلًا شوفي لي ال probability بتاعت إن الصورة دي تبع الكلاسات الستة بتاعتي. فهي تقول لي مثلًا هي بنسبة في ال class ده بنسبة كذا وده بنسبة كذا وده بنسبة كذا وده بنسبة كذا.
وأعلى class فيهم اللي هو كذا، اللي هو مثلًا football مثلًا أو yoga أو مش عارف إيه. بس كده . نقول تاني إنها بكل بساطة بتديك probability لل item بتاعك إن هو من ال class ده. يعني probability مثلًا إن الصورة دي من class أسد أو من class كلب أو من class قطة أو من class هكذا.
بتجيب ال probability دي إزاي؟ بتجيب بتحسب probability وبعدين تقسمها على ال sum of all probabilities، اللي هو كام؟ اللي هو واحد. فبالتالي بيطلع لك رقم فأنت تختار أعلى رقم يبقى هو ده الإيه؟ الصح. تمام؟ اللي بنسميها إيه؟ ال softmax. تمام؟ تمام.
هنا مديك نفس المسألة اللي بتطلع لك تلاتة بس قال لك المرة دي هنستخدم إيه؟ ال sigmoid. ال sigmoid قانونها أهو، ولاحظ مديك ال slope بكام؟ بت.
فأنت هتعمل 1 / 1 + exponential(-2 * 3)، الاتنين دي اللي هي ال slope، التلاتة ده اللي هو ال output بتاعك. يطلع لك كده إيه؟ كده أهو. OK؟ بس كده، نكمل. تمام؟
قال لك "given a two-input neuron with the following parameters". مديك bias و weight و X . 
Calculate the neuron
output for the following transfer functions. أول حاجة هنحسب الإيه؟ ال net output. ال net output ده اللي هو زي اللي هو W أهو في X transpose أو يعني X دي اللي هي WX + B صح? فيطلع لك كده كام؟1.8-. قال لك جرب لي مرة وأنت معاك symmetrical threshold. إيه هي ال symmetrical threshold؟
threshold يعني لو استنى أه، لو لو negative لو negative أيوة هنخليها بـ negative one ولو positive هنخليها بـ one.
بالظبط، حلو أوي. فهو دي negative فهتطلع لي إيه؟negative one.
عظيم. قال لك جربها لي بال linear transfer function. إيه هي ال linear؟
OK. OK أهو. بيقول لك بقى ال range of activation functions. يعني إيه ال range؟ يعني أكيد كل واحدة فيهم بتطلع range معين، تمام؟ ففي عندك حاجات بنسميها unipolar اللي هي ال range بتاعها من zero لواحد. تمام؟ زي مين؟ زي ال threshold piecewise linear. اللي هي ال ReLU تقريبا.أيوة. وال sigmoid دول ال range بتاعهم من zero لواحد، تمام؟
وعندك حاجات أحيانًا بتبقى محتاج تبقى من negative one لواحد اللي هي ال bipolar تمام أو اللي هي ال anti-symmetric. أو ال symmetric هي يعني الفكرة إن لو جات لك الكلمة دي تعرف إن هي دي تمام؟ زي مين مثلًا؟ زي ال hyperbolic tangent وزي ال signum. اللي هي ال symmetrical threshold وما إلى ذلك. تمام؟
يلا. ال stochastic model of a neuron. ال stochastic model of a neuron. قال لك "the previous neuron models are deterministic, that is the output is precisely known for any input signal". تمام؟ Deterministic يعني مش probabilistic مش stochastic، ما فيهوش حاجة عشوائية، ما فيهوش حاجة فيها random variables. Deterministic models give you same exact result for a particular  set of inputs no matter how many times you recalculate the.
model. يعني مهما حسبنا كل مرة تطلع نفس النتيجة. تمام؟ بيقول لك "mathematical property unknown, none of them is random". "There is only one set of specific values and one answer to each solution to a problem". تمام؟ "With deterministic models, uncertain factors are external to the model". تمام؟ يعني أي حاجة ممكن تتغير هي بره ال model .
اللي هي ال inputs مثلًا وهكذا. تمام؟ لكن في حاجة اسمها ال stochastic model. إيه هو ال stochastic model؟ to have a stochastic neuron model اللي هو عبارة عن إيه؟ اللي هو عندك في حاجة random. فإن عندك حاجة جوه ال model بتإيه؟ بتتغير عشوائي، تمام؟ That is the neuron is permitted to reside in only one of two states, positive or negative.
قال لك "The decision for neuron to fire is to switch from off to on is probabilistic". يعني قال لك ممكن بشكل عشوائي كده neuron معين يقرر إن هو ما يشتغلش. تمام؟
ففي يديك هنا مثالين مثلًا بيقول لك "profitability ratio in the stock investing in the future coming six months". قال لك مثلًا حاجة لما بتحسب في البورصة مثلًا، فده مثال على حاجة ممكن تكون إيه؟ probabilistic، تمام؟
تمام؟ قال لك "predict how company balance sheets will look at a given point in the future". بتتكلم عن حاجة في حسابات الشركة. فده برضه في فكرة إن ممكن يكون إيه؟ stochastic. اللي هو فيه حاجات random يعني، تمام؟ تمام. "A stochastic model incorporates random variables to produce many different outcomes under diverse conditions". يعني بيحط لك حاجات عشوائية عشان يعني يساعد إنه يتنبأ بالمستقبل بشكل .
أحسن إلى آخره. OK؟ OK.
فبيقول لك أهو "let X denote the state of a neuron". X دي اللي هو إيه؟ هل ال neuron ده هيشتغل صح ولا مش هيشتغل؟ تمام؟ فقال لك لو ال X دي بواحد تمام؟ أو ال X دي بـ negative one إن هو يشتغل أو ما يشتغلش فالواحد دي ليها probability وال negative one دي ليها probability. تمام؟ طب بنحسب لهم ال probabilities إزاي؟ ب sigmoid.
function. تمام؟ أهو ال T ده هو ال parameter اللي بنستعمل فيه اللي بنتحكم فيه بال probability بتاعت الحاجات دي، تمام؟ ليه؟ لإن احنا لو حطينا ال T دي ب zero مثلًا أو كل ما ال T لو حطينا ال T ب zero فال T ب zero ده يعني deterministic model. يعني دايمًا دايمًا دايمًا ال model بتاعي هيشتغل صح. تمام؟ هيشتغل يعني زي ما هو المفروض يشتغل. طب لو كل ما قعدنا نعلي ال T لحد ما قربت من الواحد.
كل ما نعلي ال T إنها تقرب من الواحد ده معناه إن هو إيه؟ يبدأ يخش بقى في حتة ال randomization أو ال stochastic model يعني. OK؟
لاحظ حاجة، لاحظ إن مثلًا probability إن يـ fire تبقى V أو P(V). طب probability إن هو ما يـ fireش هتبقى 1 - P(V) أه عشان الاتنين مجموعهم.
واحد. تمام؟ نكمل كده. ال neural network architecture. يعني إيه neural network architecture؟ يعني طريقة توصيل ال nodes ببعض. تمام؟ فعندنا طريقتين معروفين مشهورين جدًا اللي هما إيه؟ اللي هما ال feed-forward وال back-forward وال backward أو ال recurrent. هو هو نفس الحاجة؟ لأ طبعًا يعني ال recurrent هي زي ال backward. يا راجل. ما هي هي نفس الفكرة. أو اسمها back-forward sorry مش back.
Back-forward.Back-forward أو recurrent. ليه back-forward؟ لإن فيها قدام و ورا Forward قدام بس. ال feed-forward قال لك إيه؟ قال لك "the most common type". فكرتهم إيه؟ فكرتهم إن "the first layer is input, last layer is output". يعني دي input أهو ده input وده output. تمام؟ لو في عندنا أكتر من one hidden layer بنسميهم deep neural.
networks. فدي عندنا طبعًا layer واحدة hidden فدي neural network عادية. تمام؟ أهو. فإيه فكرة ال feed-forward networks؟ إنها hierarchical. Hierarchical يعني إيه؟ يعني واحد، اتنين، تلاتة، أربعة، وأنت ماشي كده، في حاجة وبعدين وراها حاجة، وبعدين وراها حاجة، وبعدين وراها حاجة. من separate layers. قال لك "no connection between neurons of the same layer". يعني مثلًا ما ينفعش حاجة من هنا توصل لهنا أو حاجة من هنا توصل لهنا، ما ينفعش يبقى في connection في نفس ال layer. تمام؟ قال لك "strictly feed-forwa".
"No loops". يعني ما فيش loops. يعني ما فيش حاجة رايحة كده كده بعدين ترجع لورا تاني أو حاجة مثلًا بتلف على نفسها، تمام؟ "Connections are uni-directional". يعني uni-directional يعني اتجاه واحد، يعني الحاجة اللي رايحة ما بترجعش. قال لك "neurons in one layer receive input from the previous layer". يعني مثلًا دي بتاخد من هنا ودي بتاخد من هنا وهكذا. "the neuron in one layer deliver output to the next layer". يعني بيقول لك إن السكة ماشية في اتجاه واحد.
بس OK؟ زي الفل.في عندنا types. عندنا حاجة اسمها ال single-layer feed-forward. إيه هي ال single-layer feed-forward؟ قال لك هي بكل بساطة "the simplest form". اللي هي عبارة عن عندها input layer وعندها إيه؟ output layer. يقول لك إيه؟ "It has an input layer of source nodes and projected into an output layer of neurons". تمام؟ But not vice versa يعني بيقول لك الحاجة رايحة في اتجاه واحد، تمام؟
"single layer because we do not count the input layer since no computation is performed there". يعني إيه؟ يعني يا سيدي أنت لو شفت أي neural network عدد ال layers اللي بتحسبها فيه بيساوي عدد ال layers اللي قدامك ناقص واحد. يعني مثلًا دي مثلًا دي فيها اتنين layers، أدي واحد أدي اتنين، دي ما بنحسبهاش ليه؟ لأن ما فيش أي حسابات بتحصل هنا أصلًا. OK؟
تمام؟ هي بس إيه؟ دي ودي. فهنا بيقول لك دي اسمها single-layer عشان هي فيها ال input أهو ال output أهو بس ما فيش حاجة في النص. تمام؟ Single-layer feed-forward. تمام؟ بعدين عندك هنا بيديك يعني ممكن نوصف ال single-layer feed-forward نوصفها بإيه؟ بشكل matrix كده. إن أنت عندك ال outputs عندك output واحد اتنين تلاتة أربعة خمسة ستة.
بنحسبه إزاي؟ بنحسبه إن أنت عندك ال weights دي كلها والXات دي كلها. اتفضل.
طيب هو بيقول لك إيه؟ بيقول لك إن أنا ممكن أوصف شكل ال neural network دي بال matrix دي. إن أنت عندك ال output عبارة عن function معينة لل activation function أو اللي بنسميها transfer function، تمام؟ مضروبة في ال weight مضروبة في ال X، صح؟ فأنت ال weights عندك إيه؟ أنت عندك weights يعني من كل X لكل output node. تمام؟ فمثلًا ال weight ده مثلًا اللي هو ال weight من أول X لأول output node، ده من تاني X لتاني output node، من Xn لأول out
output node. تمام؟ فبيقول لك أهو بيقول لك إن  row I, row اللي هو الصف ده، عبارة عن ال weights اللي بتطلع ال output one. تمام؟ اللي هو يعني مثلًا ال row ده بيساوي ال weights اللي داخلة على ده. تمام؟ طب column ده، ال column ده بيساوي ال weights اللي رايحة على ال X المعينة دي، تمام؟ يعني ال column ده مثلًا بيساوي ال weights بتاع ال X1, ال column ده بيساوي ال weights بتاع ال X2 وهكذا. تمام؟
فيعني ممكن توصف دي لإنها single-layer توصفها بإيه؟ بشكل زي ده. تمام؟ فمثلًا قلت لك ال weight ده مثلًا، ال weight ده اللي هو ال weight من X اتنين لـ output اتنين، ده من X  اتنين لـ output M وهكذا، ده من Xn لـ output M وهكذا.
في عندنا ال multi-layer feed-forward network. هي نفس الفكرة إن فيها input layer، فيها one or more hidden layers، تمام؟ و one output layer مشهورة جدًا يعني دي عادية .
من ان مثلًا هنا مديك مثال قال لك دي عشرة أربعة اتنين يعني إيه عشرة أربعة اتنين؟ يعني عشرة input أربعة neurons في ال hidden layer واتنين في ال output layer. تمام؟ اسمها fully-connected. يعني إيه fully-connected؟ fully-connected يعني كل node متوصلة باللي بعدها. تمام؟ يعني دي مثلًا متوصلة بالأربعة اللي بعدها ودي في الأربعة اللي بعدها ودي في الأربعة اللي بعدها وهكذا وهكذا وهكذا. تمام؟ طب مثلًا دي في الاتنين دول ودي في الاتنين دول ودي في الاتنين دول ودي في الاتنين دول وهكذا فهي fully-connected. تمام؟ طب لو في عندك connections ناقصة.
بتبقى اسمها partially connected. تمام؟ fully connected و partially connected.
نكمل. نيجي بقى للنوع التاني اللي هو ال recurrent networks. ال recurrent networks ده فكرته إيه؟ فكرته إن بيبقى في حاجة اسمها feedback loop. حاجة راجعة على بعضها، تمام؟ قال لك أهو "at least one feedback loop". إزاي؟ يعني شايف دي؟ دي feedback loop. دي اسمها self-feedback loop تمام.
ودي feedback loop ودي feedback loop وهكذا.
قال لك "may or may not have hidden neurons". يعني ممكن يبقى فيها hidden layer أو لأ. تمام؟ "There could be numerous sorry neurons with self-feedback links" اللي هي زي دي مثلًا دي بت self-loop على نفسها. تمام؟ "That is the output of a neuron is fed back into itself as input". يعني هي يعني مثلًا هي بتطلع مثلًا output المرة دي، المرة الجاية تاخده كـ input تاني زيادة.
تمام؟ "And they are more biologically realistic". تمام؟ يعني هم أقرب لدماغ الإنسان. OK؟ "Recurrent neural network are a very natural way to model sequential data". يعني أنت بتستعمل الحاجات ال recurrent دي لما يكون عندنا sequential data زي مثلًا زي ال price of stock. تمام؟ ليه؟ لإن أنت مثلًا حاجة حصلت في وقت معين بتبقى معتمدة على الحاجات اللي حصلت قبلها بالترتيب.
تمام؟ زي مثلًا مثال أبسط الكلام، تمام؟ فكرة مثلًا "way" هنا ممكن معناها طريقة، في جملة تانية ممكن معناها اتجاه. فأنت هتعرفها منين؟ هتعرفها من الكلام اللي قبلها واللي بعدها. تمام؟ فبنوصف بس sequential data زي إيه ال sequential data؟ زي الكلام، زي المزيكا، زي ال sequential sorry زي ال price of stock. زي إيه تاني يا ربي؟
كان مثلًا ممكن data الطقس والمناخ أحيانًا. بس كان في حاجة كمان كده مهمة في ال sequential data مش فاكرها دلوقتي، بس ما علينا. قال لك "feedback connections take the output of the previous data in a series as its next input". تمام؟ يعني مثلًا لما أجي أجرب الكلمة دي تمام؟ فأنا معايا الكلمة دي والكلمة دي صح؟ وطلعت output. أجي أجرب دي تمام؟ معايا ده وده وال output اللي طلع المرة اللي فاتت.
OK؟ تمام وهكذا.
"They have the ability to remember information in the hidden state for a long time". تمام؟ بيبقى أصلًا في نوع مشهور من ال recurrent neural networks اسمها ال LSTM اللي هو ال long short-term memory. بيبقى عندها قطعة memory كده أو memory modules كده بتفتكر ال outputs القديمة عشان تستعملها المرة الجاية. OK؟ تمام؟ ففي عندك مثال عليها حاجة اسمها ال Hopfield network. تمام؟ ده concurrent neural network شكلها عامل إزاي؟ شكلها يعني كده.
بس يعني إيه؟ شكلها بشكل أبسط يعني وأوضح كده. تمام؟
قال لك "the connection between units are symmetrical. They have the same weights in both direction". لاحظ إن ال weight رايح جاي، تمام؟ يعني مثلًا دي متوصلة مع دي بـ weight ودي متوصلة معاها بنفس ال weight وهكذا، تمام؟ "Connections are bi-directional". لاحظ إن هنا bi-directional. في ال feed-forward ال connection كان اتجاه وا.
هنا ال connection bi-directional رايح جاي. "There is no hierarchical no hierarchical arrangement". لاحظ هنا معمولين في mesh أو star configuration. single layer بس layer واحدة. تمام؟ اللي هو أنا باخد أنا عبارة عن أنا زائد ال layers اللي جنبي كلها. يعني مثلًا ال layer دي عبارة عن ال layer عبارة عن neuron ده.
عبارة عن ده زائد ده زائد ده، طب ده عبارة عن واحد واتنين وتلاتة، طب ده عبارة عن واحد واتنين وأربعة وهكذا، تمام؟
ده في العادي بيبقى single layer يعني؟
أه هي single layer أهو قال لك single layer. طب هتقول لي طب بتطلع نتايج إزاي؟ هقول لك لإن كل neuron بيجمع التلاتة اللي غيره. فاهم دي؟ تمام؟ قال لك ما فيهاش hidden layers لإن هي أصلًا layer واحدة وما فيهاش self-feedback loops يعني مثلًا.
بقولكوا كل واحد بيجمع التلاته الغيره فا بياخدش نفسه معاهم. قال لك أهو ده بص بص شايف مثلًا ده بيطلع بيروح فين؟ بيروح مرة هنا ومرة هنا ومرة هنا.OK.
تمام؟ دي اسمها ال Hopfield network. في عندنا network تانية اسمها ال أو دي network تانية بيقول لك إن دي network تانية example تاني يعني. دي دي بقى بس دي مختلفة دي فيها hidden neurons. أهو يعني دي فيها input.
و hidden. تمام؟ وفيها self-feedback loops. تمام؟ أو sorry دول دول ال inputs ودول ال hidden. تمام؟ وفيها self-feedback loops. يعني لاحظ إن دي مثلًا دي داخل لها أربعة أو أو خمسة، لأ داخل لها ستة. مين الستة دول؟ ستة دول اتنين input، تمام؟ والتلاتة التانيين وهي.
فداخل لها ادي اتنين وادي تلاتة خمسة وهي نفسها تبقى إيه؟ ستة. فدي فيها hidden neurons أهي. فيها self-feedback connections اللي هو داخل على نفسها تاني.
تمام؟ أنت عارف Z-1 دي يعني إيه؟ أه.
Z-1 دي يعني ال time اللي بعديه. تمام؟ يعني يعني دي في time delay يعني مثلًا ال output اللي خارج ده خارج دلوقتي، اللي داخله ده داخله في ال time اللي قبله.
أيوة أيوة أيوة.تمام؟ خدتها تقريبا في ال signals لو تفتكر.أنا خدتش signals.
أنا خدتها في ال signals. تمام؟ أي حد خدها في ال signal بقى يفتكر. تمام؟
في عندك مثال تاني اسمها ال Boltzmann machines. ال Boltzmann machines قال لك symmetric. تمام؟ symmetric connected اللي فيها إيه؟ ادي layer اوصادها layer تانية. تمام؟ "Much more powerful than Hopfield networks" و "less powerful than recurrent neural net".
networks. تمام؟ "We have beautifully simple learning algorithm". تمام؟
المهم يعني برضه single layer؟ أي أي recurrent single layer؟
 لأ مش أي recurrent single layer. تمام؟ لاحظ ما دي ما دي كا single layer اللي هي ال Hopfield. لكن دي مش single layer دي فيها ادي layer والتانية أهي. أه.
أيوة. OK؟ وأدي دي كمان فيها أكتر من قال لك أهو دول ال visible ودول ال hidden.
يبقى دول اتنين. اتنين أو أكتر بقى ما أعرفش بس يعني هو مش محددين بالظبط بس يعني دي أكتر من إيه؟ أكتر من layer أهي OK؟ تمام؟ قال لك "Feedback is said to exist in dynamic systems where the output of a node influences in a part the input of that particular node". "Very important the study of a recurrent network". يعني بيشرح لك فكرة ال feedback يعني إيه ال feedback؟ يعني إن ال output بتاعك بيأثر على ال input بتاعك أنت برضه، تمام؟
أهو فبيشرحها لك بصيغة معادلات إن أنت ال output بتاعك أهو  ال output بتاعك الهو ال Y بتساوي إيه؟ بتساوي A × X صح؟A × 'X تمام؟ تمام. لكن ال X' نفسها عبارة عن ال X + B × Y. فهي عبارة عن إن أنت بتأثر على نفسك برضه من الآخر يعني أنت بتأثر على...
نفسك. تمام؟ ما أعرفش القانون ده أو الإثبات ده عندنا ولا لأ بس يعني فكرته مش فكرته مش صعبة يعني. تمام؟ تمام. Learning in neural networks.الدكتورة قالت لنا كده أصلًا. طب حلو، حلو. Learning in neural network. قال لك learning هو فكرة إن أنا إيه؟ إن أنا أدخل معلومات لل network بتاعتي، تمام؟
وان هي تتعلم منها أو تفهم منها حاجة، تمام؟ إن هي تـ store information منها. تمام؟ لإن احنا عارفين لما أدخل data ال data دي بتعمل إيه؟ بتعدي ال network فال network ال weights بتاعتها بتتغير فأنا بـ save ال weights دي، دي ده المهم عندي، تمام؟
فبيقول لك بيعرفنا ال learning ده طريقة ال learning بتعرفنا ال system إزاي بـ adapt to new knowledge. يعني إزاي بيتعامل مع المعلومات الجديدة اللي دخلالة.
تمام؟ عندنا نوعين، عندنا online learning و offline learning. تمام؟ تمام.
قال لك "the learning rules for a connection system are algorithms or equations which govern changes in weights". يعني اللي هي ال learning rules هي طريقة إن أنا بغير في ال weights إزاي. تمام؟ هنشوف ده كمان شوية.
طيب بسم الله. ال learning approaches. أنا عندي أكتر من طريقة أو أكتر من approach، أكتر من توجه يعني في إيه؟ في طريقة التعلم.
زي مين؟ عندك ال supervised وال unsupervised فاكر اتكلمنا عنهم المحاضرة اللي فاتت. اللي هما إيه؟ اللي هو supervised أنا معايا teacher. ممكن نقول إن أنا معايا teacher ممكن أقول إن أنا معايا ال output اللي الصح اللي هو ال desired output اللي أنا عايزه يطلع. تمام؟ ال unsupervised اللي هو learning without a teacher إن أنا أصلًا ما عنديش ال desired out.
output. تمام؟ أهو.قال لك أهو قال لك "There are two types classified based on presence or absence of a teacher و الinformation provided to the system     to learn". تمام؟ يعني هو بيحدد لك بناء على وجود ال teacher من عدمه ونوع ال information اللي أنت بتديها لل model.فبيقول لك أهو ال learning with teacher اللي هو ال supervised إن أنت بتعمل له إيه؟ إن أنت بتدي له إنك بتدي له.
"is the problem of finding an input-output mapping". إن أنت بتديله ال input وال output وهو يتعلم يوصل ده لده. تمام؟ بكل بساطة، تمام؟ بكل بساطة. ال teacher بيقول لك عنده "the knowledge of the environment". يعني لاحظ هنا الفكرة إيه؟ إن ال environment أهي، ال teacher عنده مجموعة data وأنت عندك data. فأنت بتطلع حاجة وال teacher يقول لك بقى الحاجة الصح إيه، أنت بتطلع actual وهو بيديك ال desired. تمام فبتحسب ال error وبترجعه على ال system تاني.
عشان لو ال error كبير فأعمل تغيير كبير، لو ال error صغير أتحرك بالراحة. تمام؟ فهو بيديك ال teacher بيديك مين؟ بيديك ال desired response. تمام؟ وال neural network نفسها بديها مين؟ بديها sequence of labeled training patterns أو labeled training data. تمام؟ يعني إيه؟ يعني هي عبارة عن X وال output، يعني عبارة عن ال data وال output اللي المفروض يطلع.
تمام الهي supervised learning عادية خالص. تمام؟يلا هنا بقى بيقول لك إيه؟ "Learning algorithms try to minimize the error". اللي هو احنا عارفين إن إحنا عندنا error فإحنا بنحاول كل مرة نعمل تغيير بحيث إن ال error ده يقل. هي دي الفكرة كلها، تمام؟ "In this way, the connection strengths of the weights are modified depending on".
يعني أنا بغير ال weights إزاي؟ بغيرها بناء على ال input signal اللي داخلي، ما أنا باخد input. تمام؟ ده أول هام. تاني هام ال actual response وال desired response. تمام؟ لما نيجي نشوف المعادلة هتشوف إن الحاجات دي بتبقى فعلًا أجزاء في المعادلة إن أنا بغير ال weight بيتحسب عبارة عن ال input وال output وال desired. إن أنا بحسب منهم ال error وبغير على أساسه وبشوف ال input اللي داخل لي وبغير على أساسه.
فالشكل اللي قدامك ده بيقول لك closed-loop feedback system. Closed-loop feedback system يعني ما فيش أي تأثير خارجي، هو ال data بال labels بتاعتها بس، ما فيش أي تأثير خارجي.طيب أها بيقول لك إيه؟ "learning with teacher". بيقول لك ال properties بتاعته إن هو adaptive. Adaptive إن أنا على حسب ال environment اللي هو ال data اللي عندي بغير ال weights، تمام؟
و generalization ability. إن أنا بقدر أ generalize على ال data ما بحفظش. تمام؟ طب إيه الطرق اللي بنعمل بيها كده؟ في عندك حاجة اسمها ال perceptron learning algorithm. في عندك طريقة اسمها error correction learning أو طريقتين لل error correction learning حاجة اسمها ال least mean square error وال backpropagation algorithm. تمام؟ دي الطرق ال algori طرق ال learning يعني اللي بتبقى with a teacher.
تمام؟ طب بنستعمل الكلام ده في إيه؟ زي ما قلنا regression و classification و object recognition. تمام؟ دول التلات حاجات دول بيحتاجوا إن يكون معاك teacher عشان تتعلمهم. تمام؟ عشان مثلًا إزاي هعرف إن الشيء ده عربية من غير ما حد يقول لي إن هو عربية أول كام مرة؟ فلازم يعني يكون معايا teacher الأول يديني النتيجة عشان أعرف إيه.
أكمل على ده.طيب learning with a teacher. قال لك "neuron versus a regressor". قال لك إيه؟ label data هيقول لك إن أنا داخلي label data.
 "Each training consist of an input vector X and a target output T". يعني داخلي ال data وال target output بتاعها، اللي هو ال data دي المفروض تطلع كذا. تمام؟ فاحنا عندنا taskين أساسيين اللي هم ال classification وال regression. فبيقول لك ال regression إن أنا هعمل إيه؟ ال target output ده بيبقى real num.
or a whole vector of real numbers يعني إيه؟ يعني فاكر مثلًا في مسألة أسعار البيوت مثلًا؟ أنت هتدخل له ال data، ال X بتاعتك هتدخلها له اللي هو حجم البيت ومواصفاته وما إلى ذلك، وال output بتاعك هيبقى real number. اللي هو سعره، صح؟ تمام أهو. "Or a vector of real numbers". تمام؟ يعني إيه؟ يعني ممكن مش لازم يطلع لك رقم واحد، ممكن يطلع لك عدة أرقام.
تمام؟ يعني ممكن مثلًا أنت بتدور مثلًا على اللي هو ناتج حاجات كتير مع بعضه كده. فمديك هنا مثال بيقول لك "the price of stock in 6 months"، تمام؟ "temperature at noon tomorrow" مثلًا. اللي هو درجة الحرارة أو سعر سعر السوق أو أيًا كان. تمام؟ في عندك في ال classification ال target اللي أنت بتحاول توصله "is a class label". يعني إيه class label؟ يعني أنت مثلًا بتحاول تعرف الصورة دي كلب ولا قطة ولا أسد، فأنت معلم إن الكلب واحد القطة اتنين الأسد تلاتة.
فهدف ال neural network كلها إنها تقول لك أه الكلام ده بيطلع لي واحد أو اتنين أو تلاتة. تمام؟ Simplest case إنك تـ choose ما بين zero و واحد. يعني أبسط مثال لل classification إنك بتحاول تـ classify الحاجة دي حاجة من الاتنين حاجة من classين، يا كلب يا قطة مثلًا، يا واحد يا zero، يا أبيض يا أسود، يا كبير يا صغير وهكذا، تمام؟ بس برضه ممكن يكون عندنا multiple.
يعني الحاجة إنك بتحاول تتعلم إيه؟ حاجة من وسط كلاسات كتير.
OK؟ هنا بقى ال learning without a teacher ده اللي بنسميه unsupervised learning. تمام؟ ال teacher مش موجود فبالتالي ما عندناش error signal لإن ال error كان بيتحسب إزاي؟ ال error كان بيتحسب إزاي؟كان بيتحسب إزاي؟ إن أنت بتشوف اللي أنت طلعته وال actual أو ال desired اللي أنا المفروض يطلع. تمام أه. فتشوف ده من ده يطلع لك ال error. تمام؟
فطب بما إن مفيش teacher, مفيش teacher response، فبالتالي ال neural network هتـ modify ال weights "based on input only". تمام؟ أهو. فدي بيقول لك إيه؟ دي بقى ال problem بتاعتك ما كانتش إنك ال problem هناك إنك بتحاول تـ map ال input to output، بتحاول توصل ده لده. هنا أنت بتحاول تعمل إيه؟ "to find structure in data". بتحاول تعرف ال data دي لو أنا هرتبها من الأول هرتبها إزاي؟
تمام إن أنت مثلًا عندك صور كتير فأنت بتجمع صور اللي شبه بعض جنب بعض. تمام؟ مثال عليها كده . فبيقول لك في taskين مشهورين جدًا لل learning without a teacher اللي هم ال dimensionality reduction أو ال clustering. ال clustering سهل. إن أنا معايا مجموعة data بحاول أ cluster بحاول إن أنا أقول له بص شايف دول جنب بعض دول جنب بعض دول جنب بعض، دول شبه بعض ومختلفين عن الباقي.
فال clustering. ال dimensionality reduction ده عبارة عن إيه؟ عبارة عن إنك يا سيدي تعال بس نشوفها في ال slides الأول ما نتكلمش كتير. أهو بيقول لك في ال unsupervised learning algorithms عندك حاجة اسمها ال Hebbian learning. دي طريقة إن أنا بستعملها عشان أعمل dimensionality reduction. تمام؟ وهي بتقول لك شبيهة بال PCA, ال principal component analysis. دي برضه حاجة ليها علاقة بالذكاء.
الاصطناعي. تمام؟ هنا حاجة اسمها ال competitive learning، دي طرق لل clustering. تمام؟ إن ال neural network "identify clusters in the input data and discover classes automatically". تمام؟ يعني اللي هي بت cluster ال data وتعرف ال class كمان. تمام؟ في عندك حاجة برضه قولناها قبل كده اللي هي ال self-organized feature map، قولنا اسمها بس كده. تمام؟ ده model unsupervised.
إيه فكرة ال dimensionality reduction؟ ال dimensionality reduction إن أنت دلوقتي بتحاول أو داخل لك data. تمام؟ ال data دي ال data دي فيها features كتير، تمام؟ فأنت ما ينفعش أكيد تاخد كل ال features دي تـ train عليها. تمام؟ لإن ده لو أنت عملت كده اللي هو فنفترض مثلًا إن أنت عندك بيت مثلًا.
البيت ده مثلًا فيه 100 feature وأنت كل بيت هتجيبه هيبقى فيه 100 feature. ما ينفعش تاخد ال 100 feature دي تدخلهم على model يـ train عليهم. لإن ده أولًا هيطول عليك جامد. تمام؟ لإن ده كل ما يبقى عندك feature أكتر هتطول جامد أكتر. غير كده هتبقى بتعمل overfitting. اللي هو أنت عارف إن البيت ده لو فيه عدد كذا أوض نوم، نوع البلاط كذا، نوع اللمض كذا، نوع التشطيب بتاعه كذا، عارف حاجات كتير قوي فهتوصل لدرجة ال overfitting. فأنت محتاج تعمل dimensionality reduc.
تعملها إزاي؟ تعملها إنك بتدخل ال features بتاعتك أو ال data بتاعتك على model unsupervised learning. ينقي منه أحسن features. تمام؟ هو بيعمل إيه؟ هو بيجرب features مع بعض. بيجرب combinations كتير من ال features مع بعض وحاجات كده يعني عشان يطلع لك أحسن features مع بعض. وبعد ما يطلع لك أحسن features تاخدها وتعمل تشتغل بيها بقى زي ما أنت .
ما أنت عايز. ماشي؟ هي دي الفكرة كلها . إيه دخل ال classification هنا؟ ما أنت بتعمل أول حاجة feature extraction بعد كده بقى classification. مش ده cluster؟ هو في classification unsupervised؟ لأ ركز ركز. أنا عايز أعمل classification بس ال data عندي كتير فبعمل إيه؟ أ feature extraction الأول ب model unsupervised.
قصدك يكون معايا label يعني بعمل feature extraction عشان أكون label وكده؟ لأ لأ لأ ركز ركز من الأول تاني
أنا معايا حاجة عايز أعملها بال neural network بتاعتي، تمام؟ سواء supervised أو unsupervised. تمام؟ بس ال data اللي داخلة لي كتير أوي. فأنا أدخلها الأول على feature extraction بعد كده أعمل بيها اللي أنا عايزه سواء classification، regression.
أه أحسن feature عشان أشتغل عليها. تمام؟ تمام.
بس كده. OK.OK. وال feature extraction بيحصل بـ unsupervised model.
OK هي دي الفكرة كلها. فده ملخص اللي احنا قلناه، قال لك إن أنا في ال supervised learning إن أنا ببقى معايا teacher. بحاول لما يدخلي input أطلع له إيه؟ output. ال data عندي بتبقى داخلة لي label.
يعني داخلي ال input وال desired output. هنا هنا بحاول أعرف ألاقي structure، ألاقي أوجه تشابه أوجه اختلاف ما بين ال data بتاعتي. طبعًا ال data داخلة لي unlabeled. تمام؟ بس كده.
هنا إيه الtaskات اللي بشتغل بيها؟ pattern classification, object recognition, و regression. طب هنا؟ عندي clustering و dimensionality reduction.
تمام؟ إيه ال models اللي هنا؟ في عندك حاجة اسمها ال perceptron model.
وال Adaline model ده هناخده وال multi-layer feed-forward وال radial basis function مش عارف دي إيه بصراحة. هنا عندنا ال neural networks model عندنا حاجة اسمها ال self-organized feature maps وال Hopfield network وال principal component analysis. دي كلها حاجات unsupervised 
ok تمام هنا مديك الرسمة بشكل تاني يعني قال لك إن اللي عندك supervised و unsupervised.
ال supervised عندك حاجة اسمها stochastic أو error correction gradient descent. تمام؟ الطرق أو ال algorithms اللي موجودة في ال error correction عندك زي ال backpropagation وال least mean square error. في ال unsupervised عندك حاجة اسمها ال competitive وعندك حاجة اسمها إيه؟ Hebbian. دي يعني لاحظ إن دي كانت أسامي models، دي أسامي algorithms، ال models دي بتتعلم بيها.
تمام؟ وهنشوفها قدام.
تمام؟ أهو ال learning rules أو كنا لسه بنتكلم فيهم, learning rules. إن أنت عندك four basic learning rules: ال Hebbian وال error correction وال competitive وال stochastic learning. دول ال Hebbian وال competitive دول without teacher. ال error correction وال stochastic دول with teacher تمام يعني دي.
ودي supervised ودي ودي unsupervised. تمام؟ أهو فأنت بتختار architecture معين أو model معين وبتختار له كمان learning rule أو algorithm. تمام؟ أهو فبيقول لك أهو أنت مثلًا لو أنت شغال feed-forward هتستعمل إيه و unsupervised هتستعمل principal component analysis أو حاجة اسمها linear associative memory.
طب لو أنت شغال supervised و feed-forward هتستعمل يا إما mean square error, least mean square error أو multi-layer perceptron أو backpropagation أو perceptron بس عادي اللي هو single. طب لو أنت شغال recurrent و unsupervised هتستعمل self-organized feature maps, Hopfield network, حاجة اسمها ال bi-directional associative memory. طب لو أنت شغال recurrent و supervised هتستعمل ال Boltzmann machine.
أو ال Elman أو ال Jordan أو إلى آخره. بس بعد كده هنبدأ بقى نخش في الإيه؟ في ال single-layer feed-forward network.اللي هي ال single-layer perceptron.
single-layer perceptron لأ مش هي تقريبا. Single-layer feed-forward. تمام single-layer feed-forward. بس كده المحاضرة كده خلصت، أشوفك إيه المحاضرة الجاية.