Etter heftige konflikter med sin familie, som ikke billiget hans private livsvandel, slo Ernst von Bayern seg på nytt ned i hertugdømmet i 1595, og residerte heretter i Schloss Arnsberg. Han levde sammen med Gertrud von Plettenberg, og fikk sammen med henne blant annet sønnen Wilhelm, den andre Landdrost og senere abbed i . Ernst von Bayern anerkjente i 1590 den såkalte og utstedet i 1596 en ny politiordning for sine rhinske og westfaliske besittelser. I året 1606 utstedet han også en medisinalordning for bekjempelse av pest. Han overlot i stor grad regjeringsembedet til sin nevø og koadjutor Ferdinand von Bayern, som i 1612 etterfulgte ham som erkebiskop. Først under ham ble håndhevingen og gjennomføringen av motreformasjonen påskyndet i hertugdømmet.