I september 1920 trådte Rattenhuber inn i Bayerns statlige gendarmeripoliti, som først kom til innsats i Bayreuth. Den 10. februar 1922 ble han overført til politiet i München. Der ble han løytnant (1. august 1925) og deretter Hauptmann (1. juni 1933) .