Navnet kommer fra Whitehallpalasset som lå i området, og som brant ned i 1698. Gaten var opprinnelig en bred vei foran palasset, mens Parliament Street var en liten sidevei. Etter at palasset brant ble Parliament Street gjort bredere, slik at det ble et sammenhengende gateløp. Den eneste delen som står igjen av palasset er fra 1622, tegnet av Inigo Jones. Kong Karl I ble henrettet på et skafott som var reist utenfor bygningen, som han gikk ut på fra et vindu i andre etasje. Henrettelsen blir minnet på stedet hvert år av rojalister.