Gaden ligger i kvarteret Gammelholm. Området var indtil 1859 en del af Orlogsværftet men blev derefter bebygget med etageejendomme i 1860'erne og 1870'erne. I den forbindelse blev der anlagt ni nye gader, der overvejende blev opkaldt efter søhelte og teaterpersoner. Peder Skrams Gade blev således i 1868 opkaldt efter adelsmanden og admiralen Peder Skram (død 1581), der deltog i Grevens Fejde og Den Nordiske Syvårskrig.