I 1519 blei Krumpen biskop av Børglum i Vendsyssel da morbroren trakk seg tilbake. Niels Stygge ble til gjengjeld klosterleder etter at de to samman hadde avsatt prosten der for «tyveri», noe han senere reiste sak mot dem for i Vatikanet. Krumpen kom også i strid med Hans Tolder, konges lensherre på Aalborghus, og kjempet mot kongens rett til vrakgods i bispedømmet.