柔道は6歳の時に世界選手権の中量級で2位になった永瀬の大叔父にあたる平尾勝司が師範を務める養心会で兄とともに始めた。兄弟は他に姉がいる。小学校高学年になると修喩館にも通うようになった。長崎大学教育学部附属小学校5年の時には全国小学生学年別柔道大会の40 kg級に出場するが、栃木県代表の高藤直寿に敗れて5位だった。6年の時には45 kg級に出場するが、再び高藤に敗れてベスト16止まりだった。なお、小学生当時から会場で兄や上級生の試合を熱心に観戦したり、テレビ放映された柔道大会を録画して技を覚えていくなど研究熱心な姿勢を見せていた。また、両親からは大会で負けても決して叱られることはなかったという。長崎大学教育学部附属中学校3年の時には全国中学校柔道大会の66 kg級に出場するも、舞鶴中学3年の竪山将に判定で敗れて5位だった。