Colin Archer ble født i Larvik av skotske foreldre. Han vokste opp på Tollerodden innerst i Larviksfjorden. Barndomshjemmet hans var bygget før år 1670, og dermed et av Larviks eldste hus. Skipsbygningslæren fikk Colin Archer på Jordfallen værft, hvor han gikk i lære i halvannet år i 1849-50.