Navnet stammer fra middelalderen og gaten er oppkalt etter Vår Frue kirke, som ligger på naboeiendommen like nord for gaten. Før bybrannen i 1681 kaltes gateløpet og den gikk da vestover fra elven og krysset Krambugata før den gikk videre frem til vestsiden av Munkegata ved Hornemannsgården. Den vestligste traseen fikk navnet Presidentveita på første halvdel av 1800-tallet. Den østligste og smaleste delen av veita gikk under navnene og , som begge var oppkalt etter legen Peder Alfssøn som fungerte som lagmann i byen i perioden 1631 til 1653.