Domkapittelet i Frauenburg valgte den 22. oktober 1867 Krementz, som ble favorisert av dronningen av Preussen som kjente ham personlig, til biskop av Ermeland. Han ble intronisert der den 24. mai 1868, etter at K¨lns erkebiskop Paulus Melchers hadde bispeviet ham den 3. mai. I årene som fulgte ble han etterhvert upopulær av presteskapet i Ermeland på grunn av sin strenge romerske innretning.