Herman Hanssøn forlot Norge tidlig i 1614, men i 1617 kom han tilbake og ble da satt under tiltale for kapitlet i Oslo. Han unnskyldte seg med at han hadde måttet vende tilbake på grunn av sin «armod og elendighed». Kapitlet overlot den endelige dommen til kongen, som ga ordre om at Herman Hanssøn skulle fengsles på Dragsholm slott. Det er usikkert om han faktisk satt i dette fengselet. I lengre tid var han i Vordingborg, som han fikk tillatelse til å forlate 27. november 1619. Siden oppholdt han seg i Sverige i minst to år. Her skaffet han den dansk-norske regjeringen nyttige opplysninger, som bidro til at han i 1626 fikk tillatelse til å vende tilbake til Norge.