Rudolf Weber è nato il 31 agosto 1890 a Sighișoara, in una famiglia di Sassoni di Transilvania. Nel 1911, iniziò a prestare servizio come soldato professionista nel 31º Reggimento di Fanteria. Dopo lo scoppio della prima guerra mondiale, arrivò sul fronte russo, dove per il suo eccellente comportamento fu promosso a capo il 1º luglio 1915. Alla fine dell'anno, andò alle squadriglie della k.u.k. Luftfahrtruppen e completò il corso di formazione a Wiener Neustadt l'anno successivo. Fu diretto alla Flik 25 combattendo sul fronte russo, dove arrivò all'Offensiva Brusilov.