Victor H. Elbern besuchte das humanistische Stiftische Gymnasium in Düren, danach studierte er 1937/38 katholische Theologie, Philosophie und Christliche Kunst in Bonn und 1938 bis 1940 an der Pontificia Università Gregoriana in Rom (Abschluss Bakk. phil.); in Rom lebte er im Pontificium Collegium Germanicum. Von 1940 bis 1946 leistete er Kriegsdienst bzw. war in Kriegsgefangenschaft als Dolmetscher amerikanischer und englischer Dienststellen. Anschließend studierte er 1946/47 in Bonn und 1947 bis 1950 in Zürich Kunstgeschichte. In Zürich wurde er 1950 promoviert, danach war er von 1950 bis 1954 Wissenschaftlicher Assistent an der Universität Bonn. 1954 wurde er Generalsekretär für die Ausstellungen in der Villa Hügel in Essen; von 1957 bis 1958 war er für die Ausstellung "Ir Christi" im Pavillon des Vatikan bei der Weltausstellung in Brüssel verantwortlich. 1958 bis 1960 war er Stipendiat der Arbeitsgemeinschaft Forschung des Landes Nordrhein-Westfalen in Düsseldorf.