Am 2. Dezember 2004 wurde Johanns von Präsident George W. Bush als Nachfolger von Ann Veneman zum neuen US-Landwirtschaftsminister ernannt. Am 20. Januar 2005, wenige Stunden nach dem Beginn von Bushs zweiter Amtszeit, wurde Mike Johanns vom Senat bestätigt. Am selben Tag trat er von seinem Posten als Gouverneur zurück und gehörte bis zu seinem Rücktritt am 20. September 2007 dem Kabinett Bush an. Seinen Schritt begründete er damit, seinem Land in einer anderen Aufgabe dienen zu wollen. Bald wurde klar, dass er sich bei der Wahl im Jahr 2008 um einen Sitz im US-Senat bewerben wollte, was er dann erfolgreich tat. Mit 57,7 Prozent der Stimmen bezwang er den Demokraten Scott Kleeb und löste damit den nicht mehr kandidierenden Republikaner Chuck Hagel ab. Im Senat saß Johanns im Landwirtschafts-, im Banken-, im Handels- und im Veteranenausschuss. Als einer von vier republikanischen Senatoren stimmte er im Februar 2013 der Ernennung seines Vorgängers Hagel zum neuen US-Verteidigungsminister zu. Im Februar 2013 kündigte er an, sich 2014 nicht für eine zweite Amtszeit als Senator zu bewerben, sondern sich mit dem Ende des Mandats ins Privatleben zurückzuziehen. Am 3. Januar 2015 schied er aus dem Senat aus.