见半兵卫向他提出决斗并且遭他斥责、但却从此与石见所属的上之园方限（ほうぎり）的乡中之士来往结交。因此在这个乡中里、多有像是成为寺田屋事件的镇抚使奈良原繁和抵抗至死的弟子丸龙助等精忠之士。
幕末.文久二年（1862年）、桐野跟随岛津久光上京。并且与尹宫依附（朝彦亲王）担任守卫列藩工作的诸国志士们有所来往、之后他受到家老・小松带刀等藩的重臣重用。元治元年（1864年）4月16日、在土佐的山本赖藏的『洛阳日记』所写「当日石清（中冈慎太郎的变名、石川清之助的简称）、与萨摩的肝付十郎、中