到大学时期都在京都度过，虽然大学毕业后有到大坂和西宫住过的经历，但是他人生中的大部分时间都待在京都。汤川在自传中也表示，他的记忆是从搬家至京都后才开始。母亲家的祖父小川驹橘是前纪州藩的武士，因此汤川家里介绍祖先是「和歌山出身」，此外由于也与企业家松下幸之助出身同地，祖籍地有「松下幸之助诞生地」的石碑，上面的字是由同乡汤川本人所题。五、六岁左右，跟着祖父驹橘学习背诵四书。驹橘的汉学素养丰富，也对洋学颇有钻研，甚至还会阅读当时的泰晤士报。汤川在自传中这样记述：「我不觉得这时候背诵汉书毫无用处。……虽然不