Rudolph war ein Sohn des Bezirksschulrates Philipp Rudolph und dessen Ehefrau Johanna, geborene Birkmann. Er besuchte das Gymnasium und die Lehrerbildungsanstalt, auf der er sich zum Volksschullehrer ausbilden ließ. Zwischenzeitlich diente er ab Oktober 1909 als Einjährig-Freiwilliger im 14. Infanterie-Regiment „Hartmann“ der Bayerischen Armee. Daraufhin war er, mit Unterbrechungen, von 1912 bis 1944 als Lehrer in Nürnberg tätig. Während des Ersten Weltkriegs nahm er als Leutnant der Reserve im Reserve-Infanterie-Regiment Nr. 20 zunächst an der Schlacht bei Ypern sowie den Stellungskämpfen in Flandern teil. Für sein entschlossenes Verhalten als Bataillonsadjutant trotz zweimaliger Verwundung in der Schlacht von Neuve-Chapelle im März 1915 erhielt er das Ritterkreuz des Militär-Max-Joseph-Ordens. Mit der Verleihung war die Erhebung in den persönlichen Adelsstand verbunden und er durfte sich nach der Eintragung in die Adelsmatrikel „Ritter von Rudolph“ nennen. 1916/17 nahm er an den Kämpfen an der Ostfront teil, bis er aufgrund eines Unfalls nicht mehr frontdiensttauglich war. Daher war Rudolph als Hilfsoffizier bei einer stellvertretenden Brigade tätig und avancierte Ende August 1918 zum Oberleutnant.