在日特権を許さない市民の会
会長が最終決定権を持っているトップダウン型の組織が構築されており副会長は神功正毅、島興二が務めている。
会則上、本部所在地は東京都内にある初代会長の自宅とされているが、実際には秋葉原駅付近にあるマンションの一室を本部事務所として運用している。この事務所の住所は一般には公表されておらず、印刷物などに記されている本部住所は江東区にある私設私書箱のものとなっている。
在特会は、複数のカウンター・グループと対立しているが、最初にそれが顕在化したのが『レイシストをしばき隊』との対立であり、2013年6月16日には、新大久保で行われたデモの最中やその前に、互いのグループの参加者を殴ったり、相手につばを吐きかけたりしたとして、在特会側は桜井ら4人、しばき隊側は久保憲司ら4人の計8人が暴行の現行犯で逮捕された。このうち、桜井を含む在特会側2名としばき隊側3名の計5名は勾留延長されず、48時間以内に釈放され、残る在特会側2名としばき隊側1名の計3名は罰金10万円の略式命令となった。
また在特会の新大久保のデモに対し、2月以降「レイシストは帰れ」などと叫びつつ、中指を突き立て、抗議のプラカードを掲げる『レイシストをしばき隊』(後述)が出現している。
それに対して在特会は2013年4月26日に、警察に許可を得たデモであるにもかかわらず、デモに抗議する者たちから妨害を受けたとされることや、「ヘイト」「レイシスト」と批判されたことが、人権侵害に当たるなどと主張し、日本弁護士連合会に人権救済を申し立てた。
また、在特会は在日中国人に対するヘイトスピーチを行っているとも指摘される。2012年10月には在特会らは「史上最大の反中デモ」と称して池袋でデモを行っているが、参加者の中には「ゴキブリシナ人を日本から叩き出せ」などと叫ぶ者もいた。デモ終了後に桜井らは「パトロール」と称して、華僑の商店の多い一角に向かって、そこで「日本が戦前大陸に行ったことが侵略なら、てめえらが日本にいること自体が侵略なんだよ!」と叫んでいる。これらの在特会側の活動に対し、2013年5月7日と5月9日にかけて、参議院でヘイトスピーチ問題について挙げられ、首相の安倍晋三は「一部の国、民族を排除する言動があるのは極めて残念なことだ」 と、谷垣禎一法務大臣は「憂慮に堪えない。品格ある国家という方向に真っ向から反する」 とそれぞれ語った。さらに谷垣大臣は5月10日の記者会見で、ヘイトスピーチについて「人々に不安感や嫌悪感を与えるというだけでなく、差別意識を生じさせることにもつながりかねない。甚だ残念だ。差別のない社会の実現に向け、一層積極的に取り組んでいきたい」と述べた。