Rudolf Jährling wurde als Sohn des Lehrers Bruno Ferdinand Jährling in Hamburg geboren. Schon während seiner Schulzeit bewunderte er Walter Gropius und Le Corbusier. Nach dem Besuch der Realschule in Hamburg machte er 1933 sein Abitur an der Dürerschule in Dresden. Von 1933 bis 1935 studierte Jährling Architektur an der Technischen Hochschule Dresden, von 1935 bis 1936 an der Technischen Hochschule in Stuttgart und von 1936 bis 1939 bei Heinrich Tessenow, einem Lehrer von Albert Speer, an der Technischen Hochschule in Berlin, wo er den Abschluss als Diplom-Ingenieur erwarb. 1937 besuchte er zunächst die Weltausstellung in Paris, wo er zum ersten Mal ein Bild von Pablo Picasso – das für den spanischen Pavillon gemalte Bild "Guernica" – sowie Werke von Joan Miró sah. Der Besuch der nationalsozialistischen Propaganda-Ausstellung Entartete Kunst in München im selben Jahr brachte ihn noch vor Ausbruch des Zweiten Weltkriegs mit der modernen Kunst in Berührung. 1939 war er in Berlin als Architekt mit dem Bau der Reichsautobahn beschäftigt, wurde 1941 als Pionier in die Armee einberufen und war in Russland und Südfrankreich im Einsatz. 1944 geriet er in Frankreich in amerikanische Kriegsgefangenschaft, aus der er 1946 entlassen wurde.