Han var født på handelsstedet Survika på Otterøya, hvor faren Lars Nilsen Dreyer drev handelsstedet som utliggerborger fra Trondheim. Dreyer bosatte seg på Nesjestranda i Veøy, hvor han i 1797 kjøpte et gårdsbruk i Flovik. De siste tre årene bodde han på Eidsøra.