Baardsen var imidlertid en uforbederlig lovbryter, og i 1827 ble han idømt livsvarig straffarbeid og innsatt i Akershus slott. I fangenskapet forfattet han blant annet selvbiografien (1835, tre bind), hvor han i stor grad konstruerte en versjon av sitt eget liv som romantisk og ridderlig rettferdig gentlemanstyv. Han skrev også en bok om rodi (fantespråket) og en utredning om fangelivet. Han ble benådet i 1845. Resten av livet reiste han omkring og solgte bøkene sine. Under koleraepidemien i Christiania i 1833 ble han smittet, men døde først i Bergen i 1849. Han ble da titulert som «Boghandler».