Rau var sønn av en kjøpmann og protestantisk legpredikant. Han sluttet på gymnasiet i 1948 og begynte i 1949 å utdanne seg som forlagsbokhandler i Wuppertal og Köln. Dessuten arbeidet han som journalist for .