Bygningen huset opprinnelig fire overordnede domstoler (): Chancery, King's Bench, Exchequer og Common Pleas, noe som ga bygningen navnet.