Under grevefeiden ble Krumpen fordrevet av bondeopprørerne til skipper Clement. Etter at grevefeiden sluttet i 1536 med seier for Christian III ble reformasjonen innført i Danmark-Norge. Biskopene ble avsatt og fengslet. Krumpen var i fangenskap fram til 1542. En tid delte han fengsel med Christian II på Sønderborg slott. De siste årene av livet sitt giekk han gjennom mange rettssaker for det han hadde gjort som biskop. Fra 1543 ble han utnevnt til lensherre på Asmild kloster i Viborg, et nonnekloster som var blitt tatt som krongods under reformasjonen. Her døde han i 1551, og ble gravlagt i familiegraven i Mariager kirke.