Bauge har hatt flere styreverv. Han har vært styremedlem i Norsk teater- og orkesterforening (NTO) i nærmere 30 år og var foreningens styreleder fra 2004-2015 og er nå æresmedlem i foreningen. Han har vært leder av styret for Oslo musikk- og kulturskole. Han var styremedlem ved Norges musikkhøgskole fra 2010 til 2016. Han har også vært styremedlem og rådsleder for stiftelsen Dronning Sonja Internasjonale Musikkonkurranse, der han fra 2022 er styreleder. Han er styremedlem i Carte Blanche as fra 2024 og i stiftelsen Oslo Kammermusikkfesitval fra 2025. Han er mangeårig styremedlem i Kultur Vest og i Stiftelsen Edvard Grieg Korene. Bauge er en av initiativtakerne til å få bygget nytt musikkteater og musikkhus i Bergen på Edvard Griegs plass, og han er nå daglig leder Grieghallen Utbygging as, som driver utviklingen av Griegkvartalet.