在宫殿的西侧陆续建立了法隆寺、中宫寺、、法起寺多座寺庙。江户时代初期，负责维护这几所寺庙建筑的知名木匠与其族人们开始在法隆寺以西的地区聚居，渐渐形成聚落。现在的斑鸠町范围在江户时代多为江户幕府的直属领地，另有少部分区域属于和奈良乐人的领地；19世纪明治维新后，这些区域曾先后属于奈良县和郡山县，1871年的第一次府县整併中，全数被划入奈良县，但在1876年的第二次府县整併中，又随着奈良县被废除而被併入堺县，1881年堺县也遭废除，再次被併入大坂府，最终在1887年重新设立奈良县后，才再度隶属奈良县。1