Etter Daniel Bremer Juells (1849−1855) bortgang søkte Birkeland på den ledige stillingen som biskop i Hålogaland bispedømme, og vant prøvevalget, men takket nei da han heller ville ta jobben som sogneprest i Korskirken (Bergen) fra 1858. Tre år senere vant han atter en gang prøvevalget til biskop i Hålogaland bispedømme etter Knud Gislesen (1801–1860), men Birkeland ble heller værende i Bergen. Han var stiftsprost og vikarierende biskop fra 1861 for Jens Mathias Pram Kaurin (1804–1863) i Bjørgvin bispedømme. I 1864 ble han utnevnt til biskop og året etter fikk han St. Olavs Orden som ridder, og i 1877 som kommandør. Åttien kirker ble innviet i hans tid som biskop. Han ga seg i 1880 og flyttet til Kristiania.