2000年代，随着宣武门内大街的扩建，以及胡同周边进行改造，象牙胡同成为介于宣武门天主堂及其北侧绿地之间的胡同，西起宣武门内大街，向东成为死胡同。相传，此处清朝时曾出土过一只象牙，故命名为“象牙胡同”。明朝与清朝的象坊，并不在此处，而是在此以西的今新华社处。新华社大楼兴建时，开挖土方，也曾挖出一只象牙。明朝弘治八年（1495年），皇家建象坊于宣武门内西城根，称为“驯象所”。《日下旧闻考》载：“盖象至京，先于射所演习，故谓之演象所。而锦衣卫自有驯象所，专管象奴及象只，特命锦衣指挥一员提督之。”所谓“象奴”