انحدار خطي بسيط
في الإحصاء ،
الانحدار الخطي البسيط هو حساب المربعات الصغري من نموذج الانحدار الخطي مع متغير تفسيري واحد .
وبعبارة أخرى، الانحدار الخطي البسيط هو خط مستقيم يمر بمجموعة من النقاط بطريقة تجعل مجموع مربع النقط المتبقية من النموذج (أي، المسافات الرأسية بين النقطة المتبقية و الخط ) أقل ما يمكن.
هذا يشير الي حقيقة أن الانحدار هو واحد من أبسط الأساليب المستخدمة في مجال الإحصاء حيث أن ميل الخط يساوي العلاقة بين y و x مصححة بنسبة الانحرافات المعيارية لهذه المتغيرات. نقطة تقاطع الخط مع محور الصادات هي مركز كتلة نقاط البيانات (, ).
توجد طرق انحدار أخري بجانب المربعات الصغري البسيطة (انظر الانحدار الخطي). علي وجه الخصوص ، عندما يريد شخص أن يقوم بفعل الانحدار عن طريق العين فانه يميل عادة الي رسم خط حاد قليلا و يكون قريبا من ذلك الذي ينتج من طريقة أقل مربعات كليه.
يحدث هذا لأنه طبيعي أكثر لعقل الانسان ملاحظة المسافات المتعامدة علي خط الانحدار بدلا من تلك الراسية كما يحدث في طريقة المربعات الصغري .
افترض ان لديك عدد n من النقاط {(X,Y),i=1,2...n} فان الدالة التي تصف Y و X هي :
y = α + β x + ε والهدف هو ايجاد معادلة الخط المستقيم y = α + β x التي تعطي أفضل تمثيل للنقاط. 
هنا الأفضل يعرف بأنه طريقة المربعات الصغيرة : الخط الذي يقلل مجموع مربعات المتبقيات لنموذج الانحدار الخطي . و بعبارة أخري، α (نقطة التقاطع مع محور y) و β (الميل) يشاركوا في حل مشكلة التقليل التالية :
formula_1
باستخدام الحساب هندسة المساحات الداخلية للشكل أو التوسع البسيط للحصول علي معادلة من الدرجة الثانية في α و β ، فإنه من الممكن ايجاد قيم α و β التي تقلل الدالة كالتالي :
حيث هو معامل الارتباط بين x و y
الخط الأفقي علي فوق الكمية يعبر عن المتوسط . فعلي سبيل المثال : formula_3
بالتعويض بالمعادلة السابقة في formula_4 يؤدي ذلك الي :
formula_5
و هذا يدل علي الدور الذي يقوم به في خط الانحدار لنقط البيانات . و في بعض الأحيان يكون من المفيد حساب من البيانات بشكل مستقل باستخدام المعادلة التالية :
formula_6
معامل التحديد (R تربيع) يساوي formula_7 عندما يكون النموذج خطي و به متغير مستقل واحد. انظر نموذج معامل الارتباط لتفاصيل أكثر
في بعض الأحيان، يعتبر الناس نموذج الانحدار الخطي البسيط دون جزء التقاطع في مثل هذه الحالة، تقدير OLS لايجاد β يبسط ل formula_8
ويصبح معامل ارتباط العينة : formula_9وصف الخصائص الإحصائية للمقدرات من الانحدار الخطي البسيط يتطلب استخدام نموذج احصائي. التالي يعتمد علي افتراض صحة النموذج في حالة أن التقديرات مثالية. و من الممكن أيضا لحساب الخصائص تحت قيود افتراضات أخري، مثل عدم التجانس ، و لكن يتم مناقشة ذلك في أماكن أخري.
حساب formula_12 و formula_13 هي منحازة و هذا يتطلب أن نفسر المقدرات كمتغيرات عشوائية و علينا أن نفترض أن لكل قيمة ل x القيمة المقابلة لها في y تنتج كنتيجة متوسطة بالإضافة الي قيمة متغير عشوائي اضافي ε يسمي الخطأ. هذا الخطأ يجب أن يساوي صفر عند حساب المتوسط لكل قيمة ل x و تحت هذا التفسير ، تقدير المربعات الصغيرة formula_12 و formula_13 سوف يكونوا متغيرات عشوائية و سوف تحسب القيم الحقيقية ل α و β بدون تحيز.
المعادلات المعطاة في الجزء السابق تمكننا من حساب تقديرات النقط ل α و β و هم معاملات خط الانحدار لمجموعة معينة من البيانات. و مع ذلك، هذه المعادلات لا تخبرنا مدي الدقة في التقديرات أي كم المقدرات formula_12 و formula_13 تختلف من نموذج لاخر لحجم العينة المحدد. لذا وضع ما يسمي فترات التأكيد لتعطي مجموعة معقولة من القيم التي يمكن تقديرها اذا كررت التجربة عدد هائل من المرات.
الطريقة التقليدية لحساب فترات التأكيد لمعاملات الانحدار الخطي تعتمد علي فرض الثبات الذي له ما يبرره اذا ما :
هذا ما يبرر الحالة الأخيرة من نظرية حدود المركز
في ظل الافتراض الأول أعلاه، الذي من طبيعته وجود خطأ، تقدير معامل الميل سوف يوزع بشكل طبيعي بمتوسط β و تباين formula_18 حيث هو الفرق في الخطأ (انظر البراهين التي تنطوي علي المربعات الصغري). في نفس الوقت، مجموع مربع المتبقيات Q يوزع بالتناسب مع بعدد درجات حرية n-2 و بشكل مستقل عن formula_19 و هذا يسمح لنا بعمل احصائية t.
formula_20
حيث
formula_21
هو الخطأ المعياري للمقدر
احصائية t لديها توزيع t للطلاب بعدد n-2 درجة حرية و باستخدامها نستطيع تكوين فترة تأكيد ل β :
formula_22
في مستوي التأكيد حيث formula_23 هي -th من توزيع علي سبيل المثال، اذا ثم مستوي التأكيد 95% و بالمثل، فترة التأكيد لمعامل الاعتراض يعطي ب
formula_24
في مستوي التأكيد حيث
formula_25
فترة التأكيد ل و تعطينا الفكرة الرئيسية حيث معاملات الانحدار من الأرجح أن تكون. علي سبيل المثال، في قانون Okun الانحدار ظاهر في بداية المقال النقط المقدرة هي formula_26
و فترة التأكيد لهذه المقدرات 95% :
formula_27
من أجل تمثيل هذه المعلومات بيانيا في شكل فترات تأكيد ول خط الانحدار فعلي الشخص أن يمضي بحذر و حساب التوزيع المشترك للمقدرات. و يمكن أن تظهر أنه في فترة التأكيد (1−"γ") رابطة التأكيد تأخذ شكل قطع زائد يعطي بالمعادلة :
formula_28
الافتراض الثاني البديل ينص علي أنه عندما يكون عد النقاط كبير بشكل كاف ، و قانون الأعداد الكبيرة و نظرية حدود المركز قابلين للتطبيق، و من ثم توزيع المقدرات أمر طبيعي تقريبا. تحت هذا الافتراض جميع الصيغ المشتقة في القسم السابق لا تزال سارية المفعول ، مع استثناء وحيد و هو أن "t*" لتوزيع t من الطلاب يتم استبداله ب "q*" من التوزيع الطبيعي القياسي . أحيانا الكسر يتم استبداله ب في حالة n تكون كبيرة و مثل هذا التغير لا يغير النتائج بشكل ملحوظ.
هذا المثال يتعلق بمجموعة بيانات من المربعات الصغري العادية . هذه المجموعة تعطي متوسط كتل السيدات كدالة في طولهم في عينة من النساء الأمريكان في عمر 39-30 . و علي الرغم أن OLS تقول أنه من الأكثر ملائمة عمل انحدار من الدرجة الثانية لهذه البيانات لكن الانحدار الخطي البسيط يمكن تطبيقه هنا بدلا من ذلك .
يوجد عدد النقاط (n=15) في هذه البيانات و يتم بدأ الحسابات باليد بحساب المجاميع الخمسة التالية :
هذه الكميات تستخدم لحساب معاملات الانحدار و أخطائهم القياسية
formula_30
0.975 من توزيع t للطلاب ب 13 درجة حرية يكون t = 2.1604 و بالتالي 95% فترة تأكيد ل and تكون :
formula_31
و يمكن أيضا حساب ناتج معامل تصحيح الارتباط كالتالي :
formula_32
هذا المثال يوضح أن الحسابات المعقدة لن تتغلب علي استخدام البيانات المعدة بشكل سيئ. الأطوال أعطت بالبوصة و قد تم تحويلها لأقرب سنتيمتر. و لأن معامل التحويل هو 2.54 فهذا تحويل غير صحيح لأن البوصة الأصلية يمكن استردادها بحوالي (x/0.0254) و من ثم اعادة تحويلها لمتر. اذا فعلت ذلك تصبح النتئج :
formula_33
و بالتالي اختلاف صغير في البيانات لديه تأثير حقيقي
نحن نبحث عن formula_34 التي تقلل مجموع مربع الخطأ ، formula_35 التي تعرف كالتالي formula_36
لايجاد الأقل نقوم بالاشتقاق الجزئي بالنسبة ل formula_37 و formula_38
بضرب الطرفين في formula_42
formula_43
نحصل علي :
formula_44
قب الاشتقاق الجزئي بالنسبة ل formula_38 عوض بالنتيجة السابقة ل formula_37
formula_47
الان، اشتق جزئيا بالنسبة ل formula_49 :
formula_50
و في النهاية عوض ب formula_38 لتحديد formula_37
formula_55