父親は、才能を惜しむ先輩の口添えで再び新潟市営所通 (現・新潟市中央区営所通) の新潟中央新聞に入社。一家で営所通の堀端近くにあった新潟中央新聞社の物置きの中二階に引越。父親がアルコール中毒の禁断症状で苦しむようになるが、この頃の虹児は、貧しい生活でも父親の酒癖さえなければ天国だったという。
新発田町の「有馬の湯」からほど遠からぬ掛倉町 (現・新発田市中央町) 裏路地の七軒長屋に引っ越し、父は新発田町の新聞社に就職。虹児は新発田町の新発田本村尋常小学校 (通称・三ノ丸小学校、現・新発田市立外ヶ輪小学校) に転校する。
この頃から竹久夢二の絵を透写する。
夢二の画風が母親をイメージさせたためだった。
母親は「有馬の湯」の横にある兄嫁の髪結いの店を手伝ったが、胃病で大量吐血し、三か月間床につく。
仕事がうまくいかず、再び父親は新潟中央新聞の後身に迎えられ、主筆となる。一家は大伯父の家があった新潟市白山浦 (現・新潟市中央区白山浦) に引っ越す。病弱な母親を支えながら近くの白山公園 (白山神社) を散歩し、公園から望む雄大な信濃川の景色を母子で眺めることが、虹児にとって何よりも幸せな時間であった。
母親の死により家族は離散。伯父の世話で新潟市 (現・新潟市中央区) の有名な株式仲買店の新潟支店にて丁稚奉公をするが、翌年突然倒産したため、新潟市 (現・新潟市中央区)古町地域の「鶴木洋服店」で丁稚奉公。その後、父親の紹介で印刷会社「公友社」に移り丁稚奉公、月給で毎晩南画を学ぶ。
虹児にとって、りんは歳の離れた妹のような存在であったが、りんは虹児との結婚を本気にしてしまう。りんの懇願に虹児も折れて二人は結婚。
長男汪児をもうける。
『夢見童子』は初の長編カラーアニメーション映画『白蛇伝』公開に先駆け、テスト的に製作された短編アニメ作品の一つであり、国産カラーインクの採用など東映動画初期のアニメ技術蓄積に寄与した児童教育用アニメであった。
背景として、同郷の東映及び東映動画社長の大川博が教育事業に熱心であり、東映から児童教育アニメの製作を求められていた。
虹児は東映動画内で『夢見童子』を製作するにあたり、監督業だけでなく宣伝広告のデザイン、映画テーマ曲の作詞まで、一人何役も担当した。このマルチなプロデュース・スタイルは、のちの宮崎駿のスタイルの先駆けとなった。