しかし建久5年（1194年）6月に、行朝は久伊豆神社の神人を殺傷したとみられ、神人側が抗議して頼朝が二階堂行光を派遣し仲裁する事態となり、行朝は太田荘の荘司職を没収された。
但是在建久5年（1194年）6月，行朝杀伤在久伊豆神社的神人，神人一侧因此抗议，导致赖朝派遣二阶堂行光来仲裁的事态，行朝在太田庄的庄司职被没收。