江戸時代初期にはしばらくは飯倉村として農村であったが、江戸の成長につれ通り沿いが次第に市街化し、寛文2年(1662年)遂に以下の町が代官町奉行両支配となった。