徳之岛的罪、家禄五石被没收、让他以后帮助哥哥，然后18歳时，哥哥病死，于是只好以小作和开垦畑田来支撑家计。而在年轻时代时，石见半兵卫向他提出决斗并且遭他斥责、但却从此与石见所属的上之园方限（ほうぎり）的乡中之士来往结交。因此在这个乡中里、多有像是成为寺田屋事件的镇抚使奈良原繁和抵抗至死的弟子丸龙助等精忠之士。
幕末.文久二年（1862年）、桐野跟随岛津久光上京。并且与尹宫依附（朝彦亲王）担任守卫列藩工作的诸国志士们有所来往、之后他受到家老・小松带刀等藩的重臣重用。元治元年（18