اما در جبهه نبرد در ایران، پس از رهسپار شدن خالد به جبهه شام، رهبری سپاه باقی‌مانده برای جنگ با ساسانیان در عراق بر عهده مثنی گذاشته شد. در این هنگام یک فرمانده نظامی به نام رستم فرخزاد، وضعیت حکومت ساسانیان را سامان داد و توانست به کشمکش‌های طولانی در حکومت ساسانی پایان دهد و ایرانیان را قوی سازد. به همین دلیل مثنی در اواخر سال ۱۳ هـ به مدینه رفت تا با ابوبکر در مورد این قضیه گفتگو کند و از او برای پیشروی در قلمروی ساسانیان، با وجود تغییرات یادشده کمک بگیرد. ولی وقتی به مدینه رسید ابوبکر را در بستر مرگ یافت. زمانی که مثنی تغییرات ساسانیان را برای ابوبکر گفت، ابوبکر عمر را فراخواند و به عمر وصیت کرد که مردم را هر روز برای جنگیدن با ساسانیان تشویق کند، و بعد از آن پس از چند ورز درگذشت. عمر تلاش برای گردآوری سرباز برای رویارویی با ساسانیان را آغاز کرد؛ عمر سپاهی بالغ بر ۱٬۰۰۰ از مردان مدینه جمع‌آوری کرد و به سوی قلمرو ساسانیان روانه ساخت، وی همچنان به گردآوری سرباز ادامه داد و این موضوع در شبه جزیرهٔ عربستان ابلاغ عمومی شد و بین قبله‌های عرب، برای جمع‌آوری سرباز می‌گشتند و آن‌ها را برای جنگ تهییج می‌کردند، عمر به دنبال آن پی‌درپی کمک به جبهه جنگ با ایران ارسال کرد و سخنرانان و شعرای ماهر را برای به‌شور آوردن عرب‌ها به کار می‌گرفت، از عمر نقل است که گفت: «به خدا، فرمانروای عجم (غیر عرب) را با فرمان‌روایان عرب در هم می‌کوبم». در سال ۶۳۶/۶۳۷ ارتش ساسانیان با ارتش راشدین وارد نبرد قادسیه می‌شوند و سپاه یزدگرد سوم شکست سنگینی متحمل شد سپس نبرد تیسفون منجر به تصرف تیسفون، پایتخت ساسانیان، در سال ۱۶ هـ شد. سرانجام جنگ نهاوند که برای عرب‌ها به "فتح الفتوح" هم لقب گرفت، سال ۲۱ هـ شکست پایانی را به ساسانیان وارد آورد؛ پیروزی یکجانبه به سود سپاه عمر بود و بعد از این ایرانیان مقاومت منسجم و جدی انجام ندادند و تقریباً همهٔ قلمروی ساسانی به دست مسلمانان افتاد.