Im Jahre 1910 ging Ulitzka in seine oberschlesische Heimat zurück, wurde Pfarrer der St. Nikolauskirche in Ratibor-Altendorf und engagierte sich für die katholische Zentrumspartei in der Kommunalpolitik Ratibors. Nach dem Ende des Ersten Weltkrieges war Ulitzka Zentrumsabgeordneter Oberschlesiens in der Weimarer Nationalversammlung – anschließend von 1920 bis 1933 Zentrumsabgeordneter im Reichstag – und trat zunächst für ein unabhängiges Oberschlesien als ein Bundesstaat des Deutschen Reiches ein. Dann aber, als das neu erstandene Polen sich ganz Oberschlesien einverleiben wollte, setzte er sich für den Erhalt des Status quo ein. Während der drei Polnischen Aufstände in Oberschlesien und der Abstimmungen, die zur Abtrennung Ostoberschlesiens führten, war Ulitzka ein entschiedener Vertreter der prodeutschen Bewegung und damit ein Gegenspieler von Wojciech Korfanty, verzichtete aber im Gegensatz zu Korfanty dabei auf die Anwendung von Gewalt. Nach der Nachwahl in Oberschlesien war er vom 19. November bis zu seiner Mandatsniederlegung am 18. Dezember 1922 kurzzeitig Mitglied des Preußischen Landtages.