平山五郎
安政4年(1857年)時点では、旗本遠山兵部少輔家来で、鏡新明智流桃井春蔵門人と記録され、武市半平太と同門だった。翌安政5年(1858年)に播州姫路藩に所属、岡田十松の門人鈴木斧八の流れを汲む鈴木派神道無念流一ノ宮録蔵門下となり、松前藩福山城下で試合を行った。八戸藩の佐藤万次郎は平山五郎と佐伯又三郎の両名と面識を持っている。
安政6年(1859年)に神道無念流堀川福太郎の門人となり、横浜戸塚の直心影流萩原連之助と面会した。花火の事故で左目がつぶれて隻眼だったが、目が潰れた左側から打ち込むと猛烈に切り返し、逆に見えるはずの右側からだとわりあいに隙があったという。
文久3年(1863年)2月、清河八郎をリーダーとした浪士組に参加し、芹沢鴨の六番組に配属され上京。清河の画策によって浪士組が江戸へ帰還すると、芹沢や近藤勇らとともに京都に残留。残留浪士たちは京都守護職会津藩御預りとなり壬生浪士組を結成。平山は幹部の副長助勤となった。壬生浪士組は芹沢鴨・新見錦ら水戸派と、近藤勇・土方歳三らの試衛館派に分かれ、平山は水戸派に属し芹沢と行動を共にした。
5月に壬生浪士組が会津藩主松平容保に拝謁した際に平山は佐伯又三郎と組んで土方、藤堂平助らと剣術の稽古を披露している。
6月3日、不逞浪士取り締まりのため芹沢や近藤らが大坂への下向に同行。浪士達が現地の力士達と乱闘事件を引き起こした際に平山は胸を打たれて負傷した。