بعد وفاة رسول الله تمت مبايعة أبو بكر الصديق في الاجتماع الذي عقد بسقيفة بني ساعدة، وكان من أهم إنجازاته محاربته المرتدين في الحروب التي سميت «حروب الردة» وكان ذلك في السنة الأولى من الخلافة، أما في السنة الثانية فقد مضت والمدينة بين مد وجزر في السكان، تمتلئ شوارعها ومسجدها ويمتلئ معسكر الجهاد في الحرب ثم مايلبث أن يخلو برحيلهم إلى مواطن الجهاد، ولم تمضي أشهر قليلة من السنة الثالثة عشرة للهجرة حتى كانت المدينة عاصمة لمنطقة تشمل الجزيرة العربية كلها والأردن وطرفاً من فلسطين وجنوب بلاد الشام وشرق العراق، وكان أهلها إما مسلمين وإما معاهدين يدفعون الجزية، وقد شهدت خلافة عمر تزايد حركة الفتوح التي بدأت في عهد أبو بكر وتنظيم الخدمة البريدية، ونعمت المدينة بحالة من الأمن والأمان وتوحيد صلوات التراويح في رمضان، وبدأ ديوان العطاء حيث جعل للناس أرزاق ثابتة توزع عليهم كل سنة، كما أمر عمر باتخاذ كتاتيب في كل حي يفد إليه الصبيان يتعلمون فيه كتاب الله ومبادئ القراءة والكتابة وجعل للمعلم المتفرغ أجراً على عمله، كما شهد المسجد النبوي أول توسعة له في عهد عمر بن الخطاب، وجاء الفرج بعد عام الرمادة، كما تم إجلاء غير المسلمين، حتى طعن وهو يستعد ليؤدي بالناس صلاة الفجر وفاضت روحه إلى بارئها بعد ثلاثة أيام من إصابته، ورحل عمر مع رحيل السنة الثالثة والعشرين للهجرة ودفن في أول محرم عام أربعة وعشرين للهجرة، وفقدت المدينة بل فقد المسلمون كافة قائداً عظيماً وحاكماً لم يعرف التاريخ له مثيلاً، وتمت مبايعة عثمان بن عفان ليصبح ثالث الخلفاء الراشدين، بدأت معالم التنفيذ في عهد الخليفة الجديد فقد زاد عطاء الناس كما كان عليه في عهد عمر وكان الجهاد مستمراً خارج المدينة، ففتح للمسلمين مدناً في أرض الروم وأرمينيا وصولاً إلى كابل، وفي أفريقيا حيث يمضي عبد الله بن أبي السرح في شمالها وفي قبرص واصطرخ وطبرستان وكدمان وسجستان، وكان عثمان يهتم بأمور الأسواق ويتفقدها بين الحين والحين، واتخذ شرطة يراقبون أحوال المدينة ويطوفون في شوارعها وأسواقها ومزارعها، ولكنهم كانوا قليلي العدد وأشبه بمراقبي البلديات، وفي السنة الثلاثين للهجرة أمر عثمان بكتابة مصحف بجميع السور والآيات كلها ويضبطها في رواية واحدة، وكان لعثمان ولمن عمل معه في هذا العمل المبارك فضل حماية المسلمين من التشتت في كتابهم الأكبر كتاب الله، وتم كذلك في العام (29) من الهجرة توسعة وتجديد المسجد النبوي، ثم جاءت الفتنة التي بثها عبد الله بن سبأ، واغتِيل عثمان ودفن في أرض مجاورة للبقيع أدخلت بعد ذلك إلى المقبرة. بدأت خلافة علي في ظروف صعبة أعقبت الفتنة، لذلك جعل همه الأول توفير الأمن في المدينة ذاتها وحماية أهلها من الأعراب والسبئيّين، ومع منتصف رجب عام 36 بدأت مرحلة جديدة من حياة المدينة المنورة، مرحلة خرجت منها الخلافة، وما كانت تحمله من مسؤوليات ومشكلات، ومنذ نهاية العهد الراشدي حتى بداية العهد السعودي شهدت المدينة المنورة الكثير من الغارات التي كانت تشنها القبائل سواء على الطرق المؤدية إليها أو على المدينة المنورة ذاتها، مما أدى إلى بناء سور حولها لحمايتها. ففي عام 545هـ تم بناء سور محكم حول المدينة مكان السور القديم المتهالك، وقد حفظ السور المدينة من شرور المغيرين عليها فيما بعد، وفي عام 557هـ حج نور الدين زنكي، وزار المدينة فاستغاث به بعض الساكنين خارج السور وأخبروه بما يلحقهم من أذى شديد، فأمر ببناء سور جديد يشمل جميع بيوت المدينة داخل السور القديم وخارجه، فتم الأمر على وجه السرعة، وتم بناؤه عام 558هـ، وعندما تولى السلطان سليمان الخلافة في زمن العهد العثماني أمر عندما شكا إليه بعض أهل المدينة، مايجدونه من العربان المفسدين في أطراف المدينة، بإنشاء سور حجري عالي وقوي يحيط بالمدينة من جهاتها، وفي محرم عام 939هـ بدأ العمل مع وصول العمال واستغرق البناء سبع سنوات ونصف وكان بناء حصيناً مرتفع الجدران وله أبواب كبيرة محكمة وأبراج يتحصن فيها المدافعون وجهّزت الأبراج بالمدافع الحديثة آنذاك، وبنيت قلعة عند باب الشامي متممة للسور من جهته الغربية الشمالية وتقع على تلة مرتفعة شيدت فيها أبراج للمراقبة وبني بداخلها مساكن للجيش وبيت لقائد الحامية وعمل لها باب إلى داخل المدينة وآخر خارجها، وعين حامية عسكرية للمدينة.