Auch als Innenminister behielt Palmerston großen Einfluss auf die britische Außenpolitik und setzte sich vor allem für einen Eintritt des Landes in den Krimkrieg ein. Als 1855 über diese Frage die Regierung Aberdeen stürzte, übernahm Palmerston die Bildung eines neuen Kabinetts, in dem er selbst Premierminister war. Unmittelbar auf den Krimkrieg folgte der Indische Aufstand. Nach dem Attentat auf Napoléon III. durch Felice Orsini versuchte Palmerston ein Gesetz durchzusetzen, das verhindern sollte, dass in Großbritannien Attentate im Ausland vorbereitet würden. Da das Parlament diese Vorlage als zu Napoleon-freundlich ablehnte, stürzte die Regierung Palmerston am 20. Februar 1858. Trotzdem trat er schon 1859 nach der Ablehnung von Lord Derbys Reformgesetz zum zweitenmal an die Spitze der Regierung. Ab 1860 war er auch Lord Warden of the Cinque Ports.