漫画家活動初期は、そのキャラクターが知られていないこともあり、難解な前衛漫画を描く謎の天才漫画家として同業者やマニアックな読者に「この人は天才なのかキチガイなのか、あるいはその両方か、もしかしたら美大くずれの物凄いインテリなのかもしれない」と恐れられていた逸話がある。根本敬は『ガロ』のパーティー会場で蛭子と初めて会った際の印象について「神経質そうなさ、おっかない人を想像してたわけですよね。それで蛭子さんと実際に会って嘘だろ！って。やたら腰の低いペコペコばかりしている人畜無害そうなおっさんが実は蛭子さんだったというね」と大ショックを受けたことを自著『因果鉄道の旅』で回想している。
三流劇画誌『漫画大快楽』『漫画ピラニア』編集長の菅野邦明も、常識や倫理性を無視した過激極まりない不条理な漫画の内容から「蛭子能収という人はキチガイなのだろうか?」と怖がっていたという。インタビューの中で菅野は「蛭子さんに仕事を依頼したい一方で、最初は本人に会いたくなかったですね。やっぱりこの人キチガイじゃないかと思ってて。ちょうどその頃、あるパーティーに蛭子さんが渡辺和博さんと一緒に来てたんです。そこで紹介された蛭子さんは、作品からは想像もつかない、礼儀正しく大人しい人でびっくりしました」と、その落差に衝撃を受けたことを回想している。
青林工藝舎社長で『アックス』編集長の手塚能理子も「蛭子さんって作品と本人にものすごいギャップがあるというか。まあ、本当は最終的には無いんだけど、作品と作家本人の印象が全然違うじゃないですか。まだお目にかかる以前は、青白い顔した怖い人なのかと思っていたんですけど、会うと全然漫画とイメージが違う人で、『誰、この人？』みたいな感じでした」と語っている。