El palacio sirvió inicialmente como residencia real, pero ningún monarca ha vivido en él desde el siglo XVI. La mayor parte de la estructura actual data del siglo XIX, fecha en la que el palacio fue reconstruido después de un incendio en 1834, que destruyó la mayor parte de este. Los arquitectos responsables de la reconstrucción del palacio fueron "sir" Charles Barry y Augustus Pugin. El edificio es un ejemplo del estilo neogótico. Una de las características más notables del palacio es la torre del reloj, otra atracción turística que alberga la campana llamada Big Ben, nombre asignado erróneamente al reloj de la torre.