初代グラフトン公爵に叙されるヘンリー・フィッツロイ(1663-1690)は、チャールズ2世とその愛人バーバラ・ヴィリアーズ(後の初代クリーヴランド女公爵バーバラ・パーマー。第2代グラディソン子爵ウィリアム・ヴィリアーズの娘）の間の3人の非嫡出男子のうちの次男である。非嫡出子なので王位継承権はなかったが、母バーバラは息子3人に高位の爵位を確保しようと宮廷工作に躍起になった。その結果、ヘンリーには1672年8月16日にサフォーク州における初代ユーストン伯爵(1st Earl of Euston, in the County of Suffolk)とサフォーク州における初代イプスウィッチ子爵(1st Viscount Ipswich, in the County of Suffolk）とサフォーク州におけるサドバリーの初代サドバリー男爵(1st Baron Sudbury of Sudbury, in the County of Suffolk)、ついで1675年9月11日にグラフトン公爵の爵位が与えられた。これがグラフトン公爵家の創始となる彼の兄チャールズ・フィッツロイはサウサンプトン公爵(またバーバラから第2代クリーヴランド公爵位を継承)、弟ジョージ・フィッツロイはノーサンバーランド公爵位を与えられている。しかしこの2人の家系は嗣子に恵まれず廃絶しており、現代まで残ったのはグラフトン公爵家だけであった。初代公は、初代アーリントン伯ヘンリー・ベネットの1人娘(女子相続人)イザベラと結婚した。アーリントン伯位は特別継承権の規定で男子なき場合に姉妹間の優劣のない女系継承が可能であったため、ヘンリー・ベネットの死後イザベラが継承した。初代公とイザベラは一人息子のチャールズ・フィッツロイ(1683-1757)を儲け、このチャールズは1690年に初代公がアイルランドで戦死した際に2代グラフトン公となり、ついで1723年のイザベラの死によりアーリントン伯位(Earl of Arlington)、セットフォード子爵位(Viscount Thetford)、アーリントン男爵位(Baron Arlington)の3爵位も継承した2代公の死後、次男の息子オーガスタス・フィッツロイ(1735-1811)が3代公を継承した。彼は1768年から1770年にかけて首相を務めたことで知られる。その後は目立った当主は出ていないが、9代公ジョン・フィッツロイ(1914-1936)は、レーシング事故で死亡するという劇的な最期を遂げている。彼の死去に際して女系継承が可能なアーリントン伯、セットフォード伯、アーリントン男爵の3爵位は彼の姉2人の間で優劣を決められず停止（abeyance）となっている。10代公チャールズ・フィッツロイ(1892-1970)の代は貴族没落の時代であり、グラフトン公爵家も税金・相続税攻勢で所有地を多く失った。サフォークにある本邸ユーストン・ホールの維持費も捻出できなくなり、維持費削減のため3分の2を取り壊している。11代公ヒュー・フィッツロイ(1919-2011)の夫人フォーチュンは、1967年以降エリザベス2世の衣装係女官（女王の女官の最高位）を務めている。現在の当主は先代の孫の12代グラフトン公爵ヘンリー・フィッツロイ(1978- )である。
落語以外に、噺家修業や人間関係をテーマにした講演会を行ったり、役者としても活動していた。私生活では釣り好きであり、蕎麦打ちや陶芸など、多彩な趣味を持っていた。落語界きっての食通を自認、好物は鯨ベーコン。妻は元和歌山放送アナウンサーで「みんなでみんなでリクエスト バンザイ!歌謡曲」に出ていたタレントの塚本敬子。2児の父で、ビーグル犬を飼っていた。
1960年（昭和35年）5月30日、思想の科学研究会の仲間や、新安保条約強行採決に抗議して前日に東京工業大学に辞表を提出した鶴見俊輔らとともに八王子市の多摩少年院を訪れる。在院者から話を聞くためであったが、帰りの電車の中でメンバーから強行採決に対する憤りが噴出した。このとき隣に座っていた女性客から「私も若ければデモに行きたいけれど、年をとって行けないから、私の分までがんばって下さい」と話しかけられる。この言葉をきっかけとして、メンバーの意見は一つにまとまった。そうだ。これからは誰でも参加できるデモをしなければならない。同年6月2日、小林が所属する別のサークル「戦後史研究会」の会合が文京区本郷のレストランで開かれる。そこでデモの計画が練られた。グループの名前は岸信介首相が発した言葉からとられた。岸は5月28日の記者会見で「デモには一般大衆からの批難の声がないが、どう思うか」との質問に対し、次のように述べた。声なき国民の声に我々が謙虚に耳を傾けて、日本の民主政治の将来を考えて処置すべきことが私は首相に課せられているいちばん大きな責任だと思ってます。今は「声ある声」だけです。 — 岸信介、1960年5月28日記者会見岸の言葉に反発して名付けられた「声なき声の会」の最初のデモは、安保改定阻止第一次実力行使の日である6月4日に行われることとなった。小林と映画助監督の不破三雄は「誰デモ入れる声なき声の会　皆さんおはいり下さい」と書いた横幕を後ろ向きに掲げて、正午過ぎに虎ノ門を出発した。「安保批判の会」のデモの最後尾について歩き出したため、二人の後ろには誰もいなかった。その後、沿道の歩道にいた一般市民が徐々に小林らの列に入り、新橋で解散する頃には300人以上にふくれ上がっていた。手応えを感じた小林は解散後、すぐに国会に戻り、鶴見や高畠通敏らと合流。「声なき声の会」のデモを再開した。その中には社会運動家の近藤真柄や九津見房子、女性史研究家のもろさわようこもいた。「声なき声の会」のデモは6月11日、15日、18日、22日、7月2日にも行われ、参加者は毎回5～600人にのぼった。小林はそのすべてに参加し、会の活動を牽引した。6月15日には中田喜直が作曲し安田武が作詞した「声なき声の行進歌」が歌われた。『週刊朝日』1960年7月3日号に「声なき声はたちあがる」という特集が掲載されるなど、反響は大きく、事務局も杉並区永福町（現・永福）の高畠通敏の自宅に置かれた。「声なき声の会」は北爆に抗議して1965年4月24日に結成された「ベトナムに平和を!市民連合」（ベ平連）の母体となり、反戦市民運動史上画期的な役割を果たした。小林自身もベ平連発足の呼びかけ人となっている。小林は機関誌「声なき声のたより」を発行し運動を支え、97回にわたって行われたベ平連の月1回の定例デモにもほぼ皆勤で参加した。画家としては二科展を中心として活躍し、定時制高校や通信制高校の非常勤講師を務めた。浦安市での見聞をまとめたノンフィクション『貝がらの町』『わが町・浦安』を著したあと、1988年に初めての小説『東京ダウンタウン』を出版した。安保闘争で死亡した樺美智子の命日に毎年国会前で供花をした小林は、2003年（平成15年）1月2日、十二指腸潰瘍と乳がん再発によりこの世を去った。72歳没。