有名的大煤市而得名。明朝时，由京西门头沟煤窑运进北京城里的煤炭，有一部分在这里堆放并销售。此处的煤栈多，煤商在此交易。所以《京师五城坊巷胡同集》中将该街记作“煤市口”。清朝干隆年间，一条街分成两条街，在大栅栏街以北称“北煤市街”，以南称“南煤市街”。清朝光绪年间，根据《京师坊巷志稿》记载，北煤市街改称“煤市桥”（实际没有桥，只是称作桥），南煤市街改称“煤市街”。中华民国年间，在煤市桥北段出现多家纸铺，因此这一段地方被称为“纸巷子”。1965年北京市整顿地名时，纸巷子、煤市桥、煤市街合并，统称“煤市街”。