Bugge tok doktorgraden i 1895 og fikk fra 1901 til 1903 et stipend av Stortinget for å drive vitenskapelige studier. I 1903 ble han konstituert som prest ved Botsfengselet i Kristiania.