Prostebakken er oppkalt etter prost Gunder Langberg som bodde i Prostebakken 3 (dagens Ark Berge bokhandel). Han drev også et gårdsbruk. I 1827 omtales gata som Urbakken («Uhrens bakke»).