À la suite du grand tremblement de terre du Kanto en 1923, Kagurazaka recueille nombre de restaurants huppés auparavant situés à Ginza et construit peu à peu sa réputation de quartier culturel. En raison des relativement faibles dégâts causés par le tremblement de terre dans le quartier, Kagurazaka devient également une source d'inspiration pour des écrivains japonais, dont "Souseki" et "Ozaki Koyo." C'est ainsi que le quartier devient une référence culturelle.