Han emigrerte til USA 1796 og bosatte seg i Virginia der han til å begynne med arbeirdet på statsfengselet i Richmond. Han flyttet senere til Philadelphia der han åpnet sitt arkitektkontor. Latrobe var en av de første formelt utdannede profesjonelle arkitektene i USA og var påvirket av inntrykk fra sine reiser i Italia samt britiske og franske arkitekter som Claude Nicolas Ledoux. Han var en neoklassisk arkitekt og er blant annet kjent for utformingen av den gamle katedralen i Baltimore, den første romersk-katolske katedral bygd i USA.