Whitehall awalnya adalah kantor pusat untuk empat departemen pemerintah: urusan Luar Negeri, India, Rumah, dan Kolonial pada tahun 1866. Namun, sekarang hanya digunakan sebagai Kantor Luar Negeri dan Persemakmuran .
Bagian barat atau ujung taman dari gedung Jawatan Luar Negeri dan Persemakmuran pada 1866. Gedung tersebut kemudian diduduki oleh Jawatan Luar Negeri dan India, sementara Jawatan Dalam Negeri dan Kolonial menduduki ujung Whitehall .