Som teolog utga Bugge flere vitenskapelige verker, de fleste på tysk. Fra tiden som fengselsprest skrev han erindringene (1916). Han skrev også en bok om Mandal, (1924). Han var medlem av eksamenskommisjonen ved teologisk eksamen ved universitetet.