父方祖父は井上角五郎、母方祖父は男爵木越安綱。