Opprinnelig gikk Niels Juels gate fra Skarpsnogata, som gikk parallelt med jernbanesporet langs Frognerkilens daværende strandlinje. Skarpsnogata startet ved Framnesveien og var planlagt ført frem til Hafrsfjordgata, men slik ble det ikke. I dag strekker den seg over kun ett kvartal mellom Leiv Eirikssons gate og Bjørn Farmanns gate.