Antes del estallido de la Primera Guerra Mundial, Rozwadowski se unió al ejército austrohúngaro como oficial de artillería. Tanto a él como posteriormente a su hijo les enseñaron a montar en la prestigiosa Escuela Española de Equitación de Viena. Durante muchos años, Rozwadowski desempeñó el cargo de agregado militar en Bucarest. En 1914 se convirtió en el oficial al mando de la 12ª Brigada de Artillería, adjunta a la 12ª División de Infantería y con sede en Cracovia. Sería traspasado a la 43ª División de Infantería y dirigiría hábilmente a sus hombres en la victoriosa Ofensiva de Gorlice-Tarnów, recibiendo la Orden Militar de María Teresa. También se le atribuye la creación de una nueva táctica de bombardeo de artillería denominada "Feuerwaltze". En el ejército austrohúngaro ascendió al rango de "Feldmarschalleutnant", equivalente contemporáneo del rango de Mayor general.