国文学者・巖谷榮二の長男で、祖父はメルヘン作家・児童文学者の巖谷小波(季雄)、曾祖父は書家・医師・貴族院議員の巖谷一六(脩)。