De Cosmos urodził się jako William Alexander Smith w mieszczańskiej rodzinie w Windsor w Nowej Szkocji. Uczył się w szkole średniej, jednocześnie pracując jako sprzedawca. W 1852 porzucił ustabilizowane życie i wyjechał do Kalifornii, by przyłączyć się do gorączki złota w San Francisco. Nie dorobiwszy się bogactwa jako poszukiwacz złota zaczął pracować jako fotograf. Mieszkając w Kalifornii zmienił swoje nazwisko na Amor De Cosmos, które miało wyrażać jego uwielbienie dla piękna i ładu wszechświata.