氏灭亡后废城。江户时代，此地的地藏坂有许多贩卖藁（秸秆）的店，称为「藁店」（わらだな）。此外，坂上有通往牛込北御徒町（现北町）御徒组的「袋小路」（死巷），因此也称袋町。1645年（正保2年）光照寺迁至此地，形成门前町。1765年（明和2年）幕府天文方的司天台移往光照寺对面，1782年（天明2年）移至浅草。1869年（明治2年）成立牛込袋町。1911年（明治44年）去除冠称，改为袋町。
地名由来.根据昭和51年的《新宿区町名志》，本地是「藁店横町内的袋地」而得名。而平成2