1863年（文久3年）、薩摩藩・会津藩などの公武合体派が画策した八月十八日の政変で失脚した尊王攘夷派の7人の公家が京都を追放され、長州藩へと落ち延びた。なお、7名のうち、公卿の列にあるのは、三条実美と三条西季知の両名だけであることから、二卿五朝臣といった言い方もある。同月24日には、彼らの官位が剥奪され、さらに、同年9月9日、彼らの諱はそれぞれ、（　）内に改めさせられる。三条実美（実）、三条西季知（知）、四条隆謌（謌）、東久世通禧（通）、壬生基修（修）、錦小路頼徳（頼）、澤宣嘉（宣）。この7名は長州藩兵に付き添われて洛東にある妙法院に集結した後、兵庫津を経て、海路で長州藩の三田尻港（現・山口県防府市）を目指した。途上悪天候のため、3隻のうち2隻が徳山藩の徳山港（現・山口県周南市）に上陸し、ここから陸路、三田尻に向かった。その後、錦小路頼徳は1864年（元治元年）に病没、澤宣嘉は生野の変で挙兵したのちに脱出して四国伊予小松藩周辺に匿われた後、長州に脱出、残る五卿は第一次長州征伐の後に筑前国太宰府（現・福岡県太宰府市）に移された。1867年（慶応3年）12月、王政復古の大号令の前夜、朝議にて赦免され、官位や諱が復されると、澤宣嘉は外務卿、三条実美は太政大臣や内大臣、三条西季知は参与や神宮祭主、東久世道禧は枢密院副議長や貴族院副議長となるなど、それぞれ明治政府の要職に就いた。
伊上の実子井上敏樹は、アニメ版『赤影』のシリーズ構成や『平成仮面ライダーシリーズ』のメインライターを手がけており、親子2代で同じ主題作品の主要スタッフとして関わっている。井上は子供時代に伊上への脚本の催促に対して居留守を頼まれることが度々あったという。多くの作品で伊上を起用した東映プロデューサーの平山亨は、東映京都で助監督を務めていた時代に他社作品の『隠密剣士』を観て伊上に興味を持ち、『悪魔くん』でプロデューサーを務めた際に朝日ソノラマ編集長の坂本一郎に伊上の紹介を要望し起用した。平山は自身のプロデュース作品のほとんどで伊上を第1話の脚本に起用し、事実上のメインライターを任せていた。東映プロデューサーの阿部征司は、平山が具体化できていないアイデアをぶつけても伊上は躊躇なく引き受けていたと証言しており、平山は伊上に依存していた部分もあると述べている。平山とともに多くの作品を担当し、伊上と直接脚本のやり取りをしていた阿部征司は、伊上の遅筆に悩まされることが多く、喫茶店で執筆する伊上をずっと見守っていたこともあったという。阿部は伊上の自宅へ電話をかけても捕まらなかったことから、伊上の妻に「バカと伝えてくれ」と伝言し、伊上の妻には初対面時まで恐い人物だと思われていた。作詞家の阿久悠は宣弘社時代の部下（伊上が課長をつとめる企画課に所属）で、伊上宅に下宿していたこともあった。阿久は伊上からドラマの企画書の書き方を教わり、代わりに麻雀を教えたと述べている。明治大学の5年先輩でもあった。宣弘社プロダクションで監督を務めた田村正蔵は、伊上のお守も自身の仕事であったといい、週に2日ほど伊上から呼びだされてパチンコ・麻雀・喫茶店での話し相手などを務めたと述べている。
70年代は蛭子にとって不遇の時代であり、漫画家になることを諦めかけていた蛭子にチャンスをもたらした高杉弾（メディアマン）の自販機本『Jam』が1979年に創刊されるまで彼の世間での知名度は皆無であった。私生活では、長女の史英が生まれた1972年に結婚。その後はちり紙交換の職に就くが、1974年に長男の一郎が生まれたのを機に漫画を趣味と割り切り、有限会社ダスキン練馬のセールスマンになる。しかし、金銭的には困窮しており、生活苦から生活保護を受給するに至った。サラリーマン時代の自身については、「どんな時でも目立たずに、自己主張なんてことは一切せず、何もかも上司の言いなりに動く会社員でしたね。まぁオレの性格が意見とかそういうのが言えないから、めんどくさい業務とか残業なんかも頼まれると断りたいけど断れないんですよ。心の貧しい生活を強いられている、それがサラリーマンだと思っていたんですよね」と回想している。その後、糸井重里と湯村輝彦が共作した不条理漫画『ペンギンごはん』シリーズに刺激を受けるが、漫画では収入を一銭も得る事ができず、デビューから2年程で寡作になり、1976年7月号掲載の「愛の嵐」を最後に沈黙。以降『ガロ』での執筆は『Jam』の後継誌『HEAVEN』廃刊後の1981年6月号掲載「地獄のサラリーマン」まで5年間途絶えることになる。次第に蛭子は職業漫画家に限界を感じるようになり、郷里の長崎に帰る決意を固める。1979年頃、初代『ガロ』編集長の長井勝一に別れの挨拶を述べるため神田神保町にあった青林堂を訪れる。しかし、蛭子の才能を惜しんだ長井は「単行本を出版して応援するから、あと一年頑張ってみて売れなかったら帰ればいい」と説得し、蛭子は安堵した様子で青林堂を後にしたという。後に長井は「俺も蛭子さんの才能はただものじゃないと思ってたから、あのとき力になれて本当によかったと思っているよ」と回想している。