Allerede som ung gutt medfulgte Sivert sin far på lange reiser, og ble således i en ung alder fullbefaren sjømann. Knapt 23 år gammel i 1833 overtok han førerstillingen på skonnerten «Aleksander», som var innkjøpt fra Russland. Det var det første fartøyet fra Tromsø som ble anvendt i fart på utlandet. Med dette fartøyet seilte Sivert Regnor With på fangst i Ishavet i 7 år. På en av reisene kom han, ifølge skipsjournalen, helt opp til 83º nordlig bredde.