Gaten fikk navnet Pilestredet rundt 1820, ettersom det var mange piletrær langs veien. Den kaltes tidligere , fordi dette var veien til byens avfallsplass Nattmannshaugen (i dag øvre del av Pilestredet park). Assessor Jørgen Brochmann, som eide en løkke omtrent ved nåværende C.J. Hambros plass, fikk gjennomført navnebyttet da han ikke ville bo ved en gate med så simpelt navn. Blant annet statsadvokaten i Oslo og Juridisk fakultet ved Universitetet i Oslo har kontorer i Pilestredet.