Han vokste opp på småbruket Bjornes i Østre Moland ved Arendal, i fattige kår. Tidlig i livet drog han også til sjøs, da som matros. Under Napoleonskrigen seilte han i saltfart på Spania. Sommeren 1807 ble skuten oppbrakt i Den engelske kanal og mannskapet ført til Plymouth. Thorsen tilbrakte tre år som krigsfange om bord i fangeskipet «Bahama» og lærte da å snakke engelsk. Etter hjemkomsten i 1810 var han i orlogstjeneste frem til grunnlovsskrivningen våren 1814, da han var utskrevet matros på orlogsbriggen «Kiel». Han nøt stor respekt og ble straks valgt som valgmann til marinens valgmannsmøte i Fredriksværn.