牯岭街其名取自中国大陆江西省九江市的牯岭。
沿革.清朝末年，这条街已经开辟，原为龙口街的一部分。台湾日治时期初期，改称龙口街三丁目、四丁目。大正11年（1922年），又改称佐久间町一丁目、二丁目、三丁目，为古亭庄到龙口庄之间的主要道路。当时街上建有日式建筑，住有不少高等文官，为台湾总督府宿舍区。1946年，台湾省行政长官公署公布「台北市政府改正街道名称一览表」，改称龙津街。1947年，台湾省行政长官公署公布「台北市新旧路名对照表」，正式定名为牯岭街，沿用至今。