Hans rivninger med Thrane førte til brudd i fengslet og Abildgaards utgivelse av en rivaliserende avis. Abildgaard ble av den ekstraordinære kommisjon for arbeidersaken i april 1854 dømt til tre års straffarbeide, en straff Høyesterett i 1854 øket til fire år. Etter fengselsoppholdet bodde han i Oslo, men holdt seg utenfor politikk. En tid var han kasserer ved fattigvesenet, men var syk i flere år.