嘉永5年(1852年)、父母の勧めで伊集院兼寛の姉・須賀と結婚したが、7月に祖父・遊山、9月に父・吉兵衛、11月に母・マサが相次いで死去し、一人で一家を支えなければならなくなった。