Los límites del palacio quedaban constituidos por la Northumberland Avenue en el norte; Downing Street y los edificios de los Horse Guards al oeste, la Derby Door en el sur y los bancos del río Támesis en el este (aunque la construcción del Victoria Embankment en el siglo XIX supuso ganar más terrenos al río), un total de cerca de 9,3 hectáreas.