在1590年（天正18年）的『天正日记』。内藤清成派遣角筈村的关野五郎兵卫来此地调查，别名「よつや五郎兵卫」。「よつや」意义不明。之后德川家康在设置甲州街道与青梅街道时设立关所（现在的四谷四丁目交差点附近），这是第一次地名出现「四谷」。1634年，江户城西北方设置，麴町地区的寺社群移至四谷地区。须贺町、若叶二丁目（过去的寺町、南寺町）一带因这次集体迁移而增加许多寺院。外堀于1636年完成，设有（用于警备的城门）。今日JR四谷站附近可见到四谷见附遗迹（千代田区六番町）。寺院的移转与见附的设置，让四谷地