平岡円四郎
旗本・岡本忠次郎の四男として生まれ、16歳の時に旗本・平岡文次郎の養子となる。昌平坂学問所にて学問所寄宿中頭取(学生寮の寮長)に就任するなど若い頃から聡明だった。だが、人づきあいが苦手な性格が災いしてか「武術鍛錬のため」と2年ほどで学問所を辞めてしまう。その後10年近くは定職につかずにいたが、一時的に町方与力の助手をしたりすることはあったという。
徳川慶喜(一橋家相続および改名前は松平昭致)が一橋家に入った際、父親の徳川斉昭は慶喜に諍臣が必要と考え、藤田東湖にその人選を依頼した。平岡の才能を認めていた川路聖謨や藤田から同家の小姓として推薦され、慶喜に仕えることとなった。安政5年(1858年)に徳川家定の将軍継嗣をめぐっての争いが起こったときには、平岡と中根長十郎(一橋家家老)は主君の慶喜を将軍に擁立しようと奔走したが、将軍には徳川慶福(紀州藩主)が擁立され、失敗する。しかも直後の安政の大獄では、大老・井伊直弼から一橋派の危険人物として処分され、小十人組に左遷された。安政6年(1859年)、甲府勝手小普請にされる。
文久2年(1862年)12月、慶喜が将軍後見職に就任すると江戸に戻る。