Gaden kendes fra begyndelsen af 1500-tallet som en del af den privat passage Gråbrødrestræde, der gik gennem det daværende Gråbrødrekloster, og som også omfattede den nuværende Gråbrødrestræde. Efter reformationen i 1536 blev klostrets område overdraget til Københavns Magistrat, der udstykkede det og fik etableret et stræde, Ny Gråbrødrestræde, mellem Købmagergade og det egentlige klosteranlæg. Det nuværende navn kendes fra 1595 i formen "Løffuestredet". Både det og senere former af navnet viser, at det skal forstås som Løvestræde. Baggrunden kendes ikke, men der har formentligt været et husmærke med en løve. Gaden blev udvidet af kong Christian 4. i 1620. Den blev ødelagt ved Københavns brand 1728, og de ældste huse i gaden stammer derfor fra den efterfølgende genopbygning.