El proyecto fue ideado por George Washington y construido en 1790 bajo la dirección del arquitecto de origen irlandés James Hoban, en estilo Neoclásico.