父方は、安岡正美(覚之助)や安岡正定(嘉助)などの土佐勤王党員を多く輩出した土佐藩士の安岡家であり、幕末は板垣退助率いる土佐藩迅衝隊に加わり戊辰戦争を戦った勤皇家である。