Den 24. september 1874 ordinerte Osnabrücks biskop Johann Heinrich Beckmann han til prest i Osnabrücks domkirke. Bitter ble kort etter sendt for ett år som kapellan til Stockholm og forvaltet i ti år den katolske misjonsstasjon i Göteborg, til 1885. Så kom han tilbake til keiserdømmet Tyskland og ble sogneprest der, ved den katolske hoffmenighet i Ludwigslust (Mecklenburg).