Рудольф Мильнер родился 10 июля 1902 года в семье плотника. Посещал начальную и среднюю школу. В 1916 году поступил в качестве добровольца в австрийскую армию и участвовал в Первой Мировой войне. После войны вступил во Фрайкор Судетской области, а затем обучался на полицейского в Зальцбурге и посещал вечернюю гимназию. В 1931 году вступил в НСДАП (билет № 614 080). Изучал юриспруденцию и политологию в университете Инсбрука. В 1934 году получил докторскую степень по праву. В 1935 году поступил на службу в политическую полицию Мюнхена. Здесь же он и получил немецкое гражданство. С 1935 года числился в СС (№ 275 741). После присоединения Австрии к Третьему рейху в марте 1938 года был переведён в город Линц, где стал заместителем руководителя местного отделения гестапо. В следующем году он возглавил гестапо в Зальцбурге.