Han var den andre av portrettmaleren Robert Smirkes tolv barn. På skolen lærte han seg latin, gresk og fransk. I mai 1796 begynte han å studere arkitektur under John Soane og ble samme år opptatt i Royal Academy of Arts. Etter få måneder brøt han med Soane etter uoverensstemmelser og begynte med George Dance den yngre og Thomas Bush. Fra 1801 til 1805 var han på dannelsesreise og fordypet sitt arkitekturstudium i Sør-Europa. I 1805 trådte han inn i Society of Antiquaries of London og i . I 1806 publiserte han verket , som skulle bli første bind i en serie som ikke ble sluttført.