Jako mladý se vyučil tesařem a kolářem. Po Americké válce za nezávislost odešel do Spojených států amerických. Nejprve žil ve Filadelfii, později v Jižní Karolíně. V roce 1792 vyhrál soutěž na stavbu sídla prezidenta (odměna byla 500 dolarů), základní kámen byl položen o rok později a práce skončily v roce 1801. Vzorem stavby byl vévodský palác Leinster House v Dublinu, jež je dnes sídlem irského parlamentu. Dohlížel na rekonstrukci Bílého domu poté, co byl poničen ve válce s Brity roku 1812 a také na výstavbu Kapitolu, jejž navrhl William Thornton.