Gaten fikk navn etter ordfører Borger With i 1952. I 1930- og 1940-årene hadde dette navnet vært brukt om en gatestump på sørsiden av Hans Nielsen Hauges gate. Den sørlige delen av det nåværende gateløpet ble i 1864 regulert til å bli en del av Christies gate, men denne ble aldri forlenget opp til Brettevilles gate, slik det var tenkt. Stykket nord for Brettevilles gate het fra 1879 Thygesons gate.