代々婿養子が跡を継ぐ家風であったが、やり手であった祖父は自分の息子に跡を継がせようと考えていた。だが、その「長男」(小林の父)は自動車の運転・修理が趣味であるようなモダンな趣味人であり、商人としては無能で後に小林の一家が没落する原因となった。小林はこの父親に歌舞伎や寄席などに連れていかれ、「芸人のうまい下手を、くどくどと説明するのは野暮」と教わった。両国は商人町であり、小林は「このような町が本来の江戸以来の下町である」と作家となった後に繰り返し主張、浅草や柴又を「下町」と呼ぶ安易な「下町ブーム」に嫌悪を感じ、自分の生地について何度もエッセイや小説に描写している。落語に淫して育つ。下町の商人家庭には、小林の世代のインテリ少年の大半が愛読した『少年倶楽部』などはなく、読書も落語の速記本が主であった。母方の祖父は山形県村山市出身で、沖電気の創業時のメンバー、沖牙太郎の右腕といわれた高宮信三。同社を退社後独立して、港区青山に高宮歯科工業という会社を設立した。信彦は子供の頃から山の手の祖父宅へ遊びに行って、この母方の祖父から自身の精神成長に大きな影響を受けたという。信彦の信は信三の信から付けられている。戦争末期に、担任教師から将来の希望を問われ「小説家になりたいであります」と答えた。中学校・高等学校時代.大学進学.不本意な就職.いざとなれば英語教師で食べて行けると考えて英文科に入学したにもかかわらず、教職課程の単位の一つを「意図的に」取り損ねたため、公立校の教員になることができなかった。唯一採用の口があった私立高校は校内暴力の評判があったため、就職を辞退。マスコミ関係への就職を望み、讀賣新聞社や光文社、さらにスポーツ新聞社や映画会社の入社試験を受けたが、空前の就職難時代だったのでことごとく失敗。三省堂に英語辞書の校正係として採用される話はほぼ決まりかけたが、直前で不採用になった。飯島小平教授に研究者への道を勧められ、小林自身も早稲田大学に残ってヘンリー・フィールディングを研究する希望を持っていたが、大学時代に父を結核で亡くしていたうえ、日本橋の実家の土地を騙し取られていたことによる生活苦もあり、不本意ながらセールスマンとして叔父経営の塗料会社に就職、鬱屈した日々を送る。気晴らしに推理小説、昭和初期の大衆文学を読む。『ヒッチコック・マガジン』編集長.