В период Хэйан Кагурадзака носил название . 1830 года указывает, что название «Кагура-дзака» (склон ритуальных танцев) появилось благодаря исполнению там синтоистских танцев во время мацури храма . Кагурадзака был процветающим кварталом с множеством магазинов и заведений общественного питания, однако неудачная для района прокладка сети общественного транспорта в начале XX века уменьшила его доступность по сравнению с Гиндзой и Нихон-баси. В 1923 году его сильно разрушило Великое землетрясение Канто, а во Вторую мировую войну Кагурадзака пострадала от . С 1956 года движение на улицах Кагурадзаки стало односторонним. В 1991 году был сформирован «Комитет по благоустройству Кагурадзаки», который занимается планированием развития квартала. В 1999 году было объявлено о планах по строительству в Кагурадзаке 31-этажного здания, однако из-за протестов жителей этажность было решено уменьшить до 26.