اتسمت سياسة المأمون بأنها جمعت بين المواقف المتناقضة التي يصعب التوفيق بينها، فكان يميل إلى الفرس تارة ثم إلى العلويين تارة أخرى ثم يميل إلى أهل السنة والجماعة تارة ثالثة، فاستطاع بتلك السياسة المرنة أن يجمع بين المواقف المتناقضة وأن يرضي جميع الأحزاب ويتغلب على معظم الصعاب. بويع بالخلافة أثناء وجوده في خراسان ولهذا لم ينتقل إلى بغداد مقر الخلافة العباسية، بل ظل مقيمًا في مدينة مرو بخراسان مدة ست سنوات تقريبًا، انتقل بعدها إلى بغداد سنة 204 هـ، ويقال أن سبب ذلك هو أن المأمون كان يخشى أهل بغداد أنصار أخيه، وقيل كذلك أن وزيره الفضل بن سهل هو الذي أقنعه بذلك كي يكون مركز الدولة بين الفرس في خراسان أما من جهة سياسة المأمون نحو العلويين فكانت تتسم بالعطف والتسامح وكأنه أراد بذلك أن يتلافى مغبة السياسة القاسية التي سلكها آباؤه العباسيون نحوهم من قبل، ويلاحظ أن ميل المأمون إلى العلويين يتفق مع ميوله الفارسية، إذ كانت أمه وزوجته فارسيتين وكان الفرس يعتقدون أن العلويين هم وحدهم أحق بالخلافة بسبب صلة النسب التي تربطهم بآل علي منذ أن تزوج الحسين بن علي ابنة يزدجرد الثالث ملك الفرس الساساني. لقد قام المأمون في هذا السبيل بحركة سياسية غريبة احتار المؤرخون في تفسيرها، وهي أنه في سنة 201 هـ أتى بأمير علوي وهو الإمام علي الرضا بن موسى الكاظم بن جعفر الصادق وهو الإمام الثامن عند الإمامية الإثني عشرية وبايعه بولاية العهد، ولقبه بالرضا من آل محمد، وزوّجه ابنته أم الحبيب وأمر جنوده بطرح السواد شعار العباسيين ولبس الثياب الخضراء شعار العلويين، وكتب بذلك إلى سائر أنحاء المملكة. وأغلب الظن أن المأمون حينما جعل عليًا الرضا خليفة من بعده واتخذ رايات العلويين الخضر شعارًا بدلًا من رايات العباسيين السود، إنما كان مدفوعًا في ذلك بشعور ديني وسياسي يرمي إلى كسب رضاء العلويين والخراسانيين على السواء، إلا أنه يبدو مع ذلك أن المأمون لم يكن مخلصًا تمامًا في تحويل الخلافة إلى العلويين، بدليل أنه تراجع عن كل هذه الإجراءات حينما دعت الضرورة إلى ذلك. ويروي المؤرخون العراقيون أن العراقيين حينما بلغهم الخبر هاجوا وثاروا ورفضوا مبايعة علي الرضا، وقالوا لا تخرج الخلافة من ولد العباس وخلعوا المأمون وبايعوا عمه إبراهيم بن المهدي خليفة عليهم ولقبوه بلقب المبارك. وتضيف الرواية إلى أن أخبار هذه الفتنة في العراق لم تصل إلى المأمون، وأن الفضل ابن سهل كان يتعمد اخفاءها عنه، وأن القائد هرثمة بن أعين حاول أن يصل إلى المأمون بمرو ليطلعه على حقيقة الأحوال بالعراق، ولكن الفضل بن سهل دبر له من قتله. والشخص الوحيد الذي تجرأ على إخبار المأمون بأخبار هذه الفتن، هو علي الرضا ولي عهده، عندئذ انتبه المأمون للخطر المحدق به وخرج من مرو إلى مدينة طوس ليستمد القوة بالصلاة على ضريح والده هارون الرشيد، وفي خلال الطريق قتل وزيره الفضل بن سهل وهو في الحمام بمدينة سرخس وحينما بلغ مدينة طوس توفي صهره علي الرضا مسمومًا، وهناك في طوس دفن علي الرضا في جوار الرشيد - ولم تلبث أن قامت حول مقامه مدينة جديدة وهي مدينة مشهد التي حلّت محل مدينة طوس القديمة وهي تعتبر اليوم من أهم الأماكن الشيعية المقدسة بعد كربلاء. وقرر المأمون بعد ذلك العودة إلى بغداد بعد أن زالت الأسباب التي دعت إلى غضب أهلها فوصلها سنة 204 هـ حيث أقبل الناس على مبايعته والترحيب به، وعفا المأمون عن عمه إبراهيم بن المهدي ثم عزل الحسن بن سهل من ولاية العراق بعد مدة قصيرة وأمر الناس بلبس السواد مرة ثانية وبذلك قطع صلته بابن سهل، وبالرغم من تخلص المأمون من بني سهل إلا أنه اعتمد على أسرة فارسية أخرى وهي أسرة طاهر بن الحسين الذي ولاّه المأمون على خراسان سنة 205 هـ واستمر الحكم في أبنائه من بعده فقامت بذلك في خراسان أول إمارة شبه مستقلة عن الدولة العباسية وهي الدولة الطاهرية.