Von 1934 bis 1936 bekleidete Mandel als Postminister ("Ministre des Postes, télégraphes et téléphones - PTT") sein erstes Regierungsamt. Er förderte die Modernisierung des Fernmeldewesens und unter seiner Schirmherrschaft wurde am 26. April 1935 die erste französische Fernsehübertragung ausgestrahlt. In der Regierung von Albert Sarraut war Mandel kurzzeitig Hochkommissar für Elsass-Lothringen. Während der 1930er Jahre warnte Mandel beharrlich vor den Gefahren des deutschen Nationalsozialismus und sprach sich im Dezember 1935 öffentlich gegen den Hoare-Laval-Pakt zur Beendigung des Abessinienkriegs aus. Damit spielte Mandel in Frankreich die gleiche Rolle, wie sie Winston Churchill in Großbritannien einnahm, der vergeblich vor Hitler-Deutschland warnte. Als Kolonialminister ("Ministre des Colonies") kehrte Mandel am 10. April 1938 in die Regierung Édouard Daladiers zurück. Gegenüber dem expansionistischen Deutschen Reich forderte er einen harten Kurs und lehnte die Appeasement-Politik der Westmächte ab. Trotz ideologischer Vorbehalte befürwortete Mandel eine Militärallianz mit der kommunistischen Sowjetunion als Gegengewicht zu den Achsenmächten.