同的形状而得名，和“沟沿”南大口袋胡同相对称。1923年，在该胡同兴建了遵义楼，后成为北京市第三十五中学办公楼，2011年被列入《北京优秀近现代建筑保护名录（第一批）》。1990年代，为建设北京市公安局西城分局大楼，胡同最东段被拆除，小口袋胡同改为东起下岗胡同。2010年代，为兴建新兴盛项目，小口袋胡同被拆除。