Prins Albert av Sachsen-Coburg-Gotha var en nær venn av Georg og mellom 1852 og 1855 tjenestegjorde han som Lord Privy Seal i kabinettet til lord Aberdeen. Etter dette, i perioden 1855 til 1858, fungerte han som Postmaster General i lord Palmerstons første kabinett. Han blei Lord Privy Seal igjen fra 1859 til 1866, først som en del av Palmerstons andre kabinett, deretter under lord Russells andre kabinett. Han blei kjent for sin støtte til nordstatene i den amerikanske borgerkrig.