Palasset opptar en tomt på 32 400 m² på vestbredden av Themsen. Tomten er omgitt i øst av 266 meter elvebredd og i vest av Westminster Abbey, Parliament Square og Millbank. I nord ligger Portcullis House, en moderne kontorbygning for parlamentsmedlemmer og deres stab, og under bakken ligger Westminster undergrunnsstasjon. I sør er Victoria Tower Gardens, en liten triangulær park mellom Millbank og Themsen.