Omkring 1502 ble han fanget av Knut Alvsson og hans hær, de holdt opprør mot kong Hans av Danmark, Norge og Sverige som var konge 1481–1513. Herman mistet gård og det han eide, og ble ille behandlet.