Bauge er utdannet siviløkonom fra Norges Handelshøyskole. Han er gift med sangeren og sangpedagogen Åshild Kyvik Bauge, og de har barna Sverre Kyvik Bauge (cellist og ansatt ved Barratt Due Musikkinstitutt), Einar Kyvik Bauge (bratsjist i DRSO København) og Ragnhild Kyvik Bauge (fiolinist i Operaorkesteret DNO&B).