Clădirea a fost construită după planurile arhitectului James Hoban, lucrările începând în anul 1792.