Han var kirkeminister i Emil Stangs andre regjering 2. mai 1893-14. oktober 1895. Stortingsflertallet «belønnet» ham for denne beredvillighet til å tjene den konservative sak ved å inndra hans personlige professorat. Som svar herpå lot Bang seg ved sin avgang demonstrerende beskikke til personellkapellan ved i Kristiania. Fra denne, skjønt kun i rang, underordnede geistlige stilling, sprang han så til å bli den norske kirkes primas.