飯岡助五郎
更に文政5年(1822年)には五郎蔵から飯岡一帯の縄張りを譲り受け、正業である飯岡の網元の事業も成功させて、名実共に房総半島の大親分となる。飯岡の漁港を整備する事業にも着手し、台風や大時化で漁船が頻繁に遭難し、飯岡の成人男子人口の減少が危ぶまれた際には、生まれ故郷の公郷村や三浦半島一帯から漁師の二男や三男を大量に移住させ、また護岸工事にも積極的に取り組むなど、飯岡の復興にも尽力した。
この頃、利根川流域の笹川(現在の千葉県香取郡東庄町)に勢力を持つ15歳年下の笹川繁蔵と知り合う。初めのうちはやはり相撲取り上がりである繁蔵との関係は極めて良好だったが、やがて関東取締出役制度が整備されて助五郎が銚子飯沼陣屋から関八州見回り役人を道案内するために十手取縄を託され岡っ引になると、両者の間は徐々に険悪になっていく。繁蔵の勢力が拡大して助五郎の縄張りと隣接するようになると、両者の子分たちによる抗争が頻繁に発生し、両者の縄張り内にある35村の村役人が関八州見回り役人に事態の解決を訴え出た。そして遂に天保15年(1844年)、十手を預かる助五郎に対して繁蔵逮捕の命令が下される。助五郎は子分20数名(笹川方によれば約50名の説もあり)を引き連れて、同年8月6日に繁蔵逮捕に赴くが、事前に助五郎の襲撃を察知した繁蔵方の奇策を用いた反撃に遭い、笹川方の死者は用心棒の平手造酒一名、飯岡方は8名を失った(大利根河原の決闘)。
子母沢寛の『ふところ手帖』が映画化されたことで、日本映画のヒーロー・座頭市が誕生したが、この座頭市は飯岡助五郎一家に草鞋を脱いでいた客人であると、子母沢は文芸春秋1966年9月号掲載の『真説座頭市』で語っている。飯岡に取材に訪れた子母沢に土地の古老が語った「市というちょっと変わった風来坊」の話が座頭市に発展したわけだが、その古老の話に登場する座頭市は、飲酒を禁じた助五郎の方針に耐えかねた子分たちが苛立って喧嘩を始めると仲裁に入ったり、見えない目で枡を切ってみせたりはしていたが、映画に登場するような居合抜きの達人でもなければ、人を斬ったりしたこともなかったという。なお、子母沢は、座頭市が助五郎一家を去った理由を、「助五郎が卑怯な手で繁蔵を殺そうとしていたことを知ったからだ」と語っている。