Fadern Johan Wirsén var revisor vid svenska flottan. Sonen Carl Johan föddes på Sveaborg, sattes i skeppsgosseskolan där redan som 6-åring och deltog som 12-årig sergeant vid första slaget vid Svensksund 1789. 1795 utnämndes han till fänrik och 1797–1804 seglade han tidvis på kofferdifartyg i handelsflottan samtidigt med sin tjänst vid arméns flotta.