御所氏
建久4年(1193年)5月、初代征夷大将軍・源頼朝に近習していた御所五郎丸は、頼朝主催の富士の巻狩りに参加した。同年5月28日、富士の巻狩り最後の夜に曾我兄弟の仇討ちが起こった。兄弟は父の仇である工藤祐経を暗殺した。この後、兄の曾我祐成は駆けつけた祐経の部下の仁田忠常に討たれたが、弟・曾我時致は頼朝の御前を目指して、向かってきた武士たちをことごとく倒して頼朝の宿所に押し入った。しかし、頼朝の宿所の中にいた五郎丸は時致の身を一人で取り押さえ、頼朝の危機を救った。この事件と御所五郎丸の記録は『曾我物語』や『吾妻鏡』に残っており、能や歌舞伎の『曽我もの』では御所五郎蔵の名で知られる。五郎丸は五所との記録もある。
建久7年(1196年)6月、五郎丸と同じく源頼朝の御家人であった豊前・豊後両国守護兼鎮西奉行となった大友能直と共に九州に下り、6月11日に豊後国速見郡(現大分県)浜脇浦より入国した。