Han var sønn av ingeniør Kristian Vennemoe (1868–1933) og Agnes Krogh (1882–1972). Etter examen artium 1937 og Oslo handelsgymnasium 1938 ble han cand.jur. 1943. Han var kurer for Sivorg mellom Hjemmefrontens ledelse og legasjonen i Stockholm da han i 1944 ble tatt og fengslet på Grini. Med stipend fra Utenriksdepartementet studerte han til en M.A. i Boston ved Fletcher School of Law and Diplomacy i 1947. Samme sted giftet han seg i 1948 med Elise Bendixen Falck (1928).