父を除いた一家が奈良へと引き揚げてから母親は大日本紡績郡山工場の工員寄宿舎で寮母として働くようになり、赤塚は地元の郡山町立郡山小学校に編入して小学5年生となった。赤塚は奈良での経験について1994年のインタビューで、「オレは満州から引きあげてきて、奈良の大和郡山に3年間住んでいたんだけど、あのあたりってヨソ者を徹底的に排除する風潮があったんだ。差別意識が定着してたのかもしれないな。オレも差別されたよ。配給の列に並んでて、オレの順番になると「満州、ダメ」とか言って本当にくれないんだから。いい大人が子供に対してだよ。今でも忘れられないよ」と回想している。ただし、妹の寿満子は「奈良時代は楽しい事ばかりだったが後の新潟時代は辛かった」と回想している。このように一家が満州帰りとして差別を受け学校でもいじめの対象となる中、2学期の頃から貸本屋で5円で漫画を借りて読むようになり、このとき手塚治虫の『ロストワールド』に出会ったことで漫画家になることを決意。見よう見まねで手塚風の漫画の執筆に没頭する。この漫画がきっかけで、学校で番長を張っていた奥村という同級生と出会うことにより学校生活が一転することとなった。彼との出会いについて「僕は子供の頃から、絵が得意だった。「よーし、あいつが俺のこと、そんなにイジメるんだったら、漫画を描こう」って、藁半紙16枚くらいを糸で縫って、そこに鉛筆でマンガを描いたのだ。確か「寿司屋のケンちゃん」ってマンガ。その頃、お寿司屋さんなんか行ったことなかったのに、どうしてそんなマンガを描いたんだろう。それがわからない。でもとにかく、描いたわけだ。それを番長に、「僕の描いたマンガです」って差し上げた。番長はしばらく、パラパラめくって見てたよ。「これ、ほんとにおまえが描いたのか？」「ほんとです」それからみんなを集めて、「いいか、今度なぁ、赤塚イジメたら、俺が承知しないぞ」って。それから見事に、イジメにあわなくなった。」と回想している。これをきっかけに奥村と仲良くなった赤塚は柿畑から柿を盗んで売り警察の厄介になるなど、数々の悪行に手を染めることになったが、その一方で「クラスに一人、重度の小児マヒの子がいた。性格のとてもいい子だった。運動会の日がきたが彼は参加できない。窓から外を見ているだけだ。その日、ボス奥村はぼくに命じた。「お前残って、あいつと一緒にいてやれ」しかたなくぼくも運動会に出ないで、二人で教室に残った。グランドではワーワーみんな楽しそうにやっている。窓からそれを見ている彼に、「面白いか？」と聞くと、嬉しそうに「うん」と答えた。（中略）それにしても奥村という男も大したものだと思う。ただ体がでかくて腕っぷしが強いだけではなかった。ハンデを背負った友達の気持がわかり、ぼくに運動会を休んで付き添わせるという、教師ではできない対応をやってのけたのである。」というエピソードがあり、赤塚のみならずかつて父が現地の中国人に対して親切に接したように、周囲から差別される立場の人間に対して優しい態度をとる一面もあったという。赤塚本人にとって奥村が面倒を見ていた子供もまた少年時代の赤塚の心に深く刻まれることとなったとされ「奈良の少年時代は餓鬼のように動物のように生きた。底辺に生きる少年たちの群像から、私の登場人物のキャラクターを得ている」とも回想しており、遊び仲間たちと一緒に遊んであげていた近所の当時3歳の馬車屋の息子は『おそ松くん』に登場する浮浪児「チビ太」のモデルになり、いたずらをして遊んだ野良猫が「ニャロメ」のモデルにもなったという。共に強い立場にありながら弱い者を守り、決して差別しない態度をとった父親と奈良での小学生時代の同級生の奥村の二人と接した少年時代の経験がきっかけとなって後の赤塚作品では「弱い者いじめはしない」という姿勢が貫かれることとなったとされ、小説家の井上ひさしは「文部省が赤塚漫画を『道徳』の副読本にしないのは理解できない。ある意味で、赤塚の作品は道徳的だ。例えば、暴力シーンはいっぱい出てくるが、弱虫でチビのハタ坊がいじめられるシーンは決して出てこない。喧嘩も、対等か、強い者に逆らう時に起きている。チビ太が一人で六つ子に挑んでいくような時だ。」と評している。その後も赤塚は漫画を描き続け、小学6年生になった12歳の時には『ダイヤモンド島』という128ページのSF長編漫画を描き、母親と一緒に大阪の三春書房という出版社へ最初の持ち込みを行ったが失敗した。中学生となった13歳の時の1949年（昭和24年）秋、母親のわずかな稼ぎでは残った3人の子供を養っていくことが困難であったため、兄弟は父の郷里である新潟の親類縁者にそれぞれ預けられることになり、中学1年生になっていた赤塚は新潟県に住む父親の姉一家（以前満州で父が危険な辺境勤務をしている間に1年間預けられていたことがある）である大連帰りの母子家庭に預けられて母親からのわずかな仕送りで暮らした。赤塚は後の自身に大きな影響を与えた当時の体験として「日本有数の豊かで美しいコメどころでも、その閉鎖性と排他性は、陰湿な風土の奈良に、勝るとも劣らぬものだった。関西なまりになっていたボクは、その頃常用の他所者（よそもの）に対する差別語を、しばしば浴びせられた。母からのわずかな仕送りで暮らす中学1年の私はひどく貧しかった。得意な図工の時間、新潟港の写生にでかけた時、私の絵の具は赤、青、茶、黒のチューブしか残っていなかった。ヤケな気分で、4色だけ使いわけて、港のスケッチを済ませた。私は、本来、当時の少年雑誌を風靡（ふうび）していた人気絵物語の影響で、細かい絵が好きで自信があるつもりだったのだが、色数が少なくてはそのテクニックは披露できない。そんな訳で、くやしまぎれのやけくそタッチで描いた。港の破船を荒っぽい筆遣いで茶色に塗り、空と海を同じ色で塗りたくって、船体のあちこちを赤と黒で彩って、おしまいにしておいた。ところが、その絵が全校の図画コンクールで第1席になってしまった。“ヒョウタンからコマ”である。本意のある絵ではなかったから、私の嬉しさは、さほどのものではなかったが、図工の成績でいくらか先生から「ホウ!?」という目で見られたこと、差別意識が強かった級友たちからも、驚きの目でみられたことが、この絵の賞が私にもたらしてくれた利点と言えた。」と回想している。赤塚が14歳になったその年の暮れに父親が舞鶴港に帰国するが過酷なシベリアでの抑留生活や日本の敗戦などで権威を失い、栄養失調による水疱でかつての面影もなくし、動作がのろくなって食欲が異常に強くなり台所を度々荒らしてしまうなど以前とは全く違うような人物になっていたという。母親を除いた父親と3人兄弟の4人一家は父の出身地であり赤塚の本籍地であった新潟県西蒲原郡四ツ合村井随（潟東村を経て現在は新潟市西蒲区潟東地区井随）809番地に移り、赤塚は四ツ合中学校（現・新潟市立潟東中学校）へ転入し、父親は農業協同組合職員の職を得て彼の実家近くにあった 法讃寺（父の実家である赤塚家はこの寺の檀家であったらしく、後に赤塚の両親が死去した際この寺で葬式が行われた）に月100円で納屋を間借りをして生活を始めたが、やはり赤塚一家は「外地から戻ったもてあまし者として、排他的な農村では心底とけこむことは出来なかった」という。1952年に赤塚は中学校を卒業したが、家庭の金銭的な事情から高校進学を断念し、映画の看板を制作する新潟市内の看板屋小熊塗装店に就職した。ドラム缶を塗る仕事の他、映画看板の制作に携わっていた由縁から花月劇場という映画館の管理人と仲良くなったおかげで映画を無料で鑑賞できる事となり、このときバスター・キートンや駅馬車、チャーリー・チャップリンの喜劇に感銘を受けたという。この時期に『漫画少年』への投稿も始めた。手塚治虫が投稿作品を審査するコーナーがあり、この頃から自分の絵柄を模索し始めるようになる。18歳だった1954年頃（『マンガをはみだした男　赤塚不二夫』では1953年）に父親の頼みもあって上京し、父親の友人の紹介で就職した東京都江戸川区小松川のエビス科学工業所という化学薬品工場に勤務しながら『漫画少年』へ投稿を続けた。その漫画が石森章太郎（後の石ノ森章太郎）の目に留まり、石森が主宰する「東日本漫画研究会」が制作する肉筆回覧誌「墨汁一滴」の同人に参加。この同人の東京支部に長谷邦夫やよこたとくおがいた。また既にプロの漫画家だったつげ義春が同じく赤塚の漫画に興味を持ち、しばしば遊びに来るようになった（投稿欄に住所も載せる緩やかな時代だった）。『漫画少年』の突然の休刊後、つげからプロへの転向を勧められ、一人では心細いとよこたを誘い、よこたと西荒川で共同生活をしながらプロ漫画家として活動する事となる。つげの仲介で曙出版と契約を交わし、1956年（昭和31年）6月、描き下ろし単行本『嵐をこえて』でデビュー。