Wollebæk gikk på skole i Drammen og Lillehammer. Han tok examen artium i 1893, og ble uteksaminert fra Det Kongelige Frederiks Universitet med graden cand.jur. i 1898. Han startet sin karriere i utenrikstjenesten noen få år senere, som sekretær i Handelsdepartementet. Hans først oppdrag utenriks kom da Norge fortsatt var i union med Sverige som attaché ved de to nasjoners legasjon i Paris. Etter unionsoppløsningen i 1905 etablerte Norge sin eget Utenriksdepartement og han ble forfremmet til underdirektør i 1909 og ekspedisjonssjef i 1916.