山梨県巨摩郡河原部村（北巨摩郡韮崎町を経て、現在の韮崎市）の商家に生まれた。生まれてすぐ母が死去、父とも生き別れたため、おじ夫婦に引き取られた。高等小学校から東八代郡南八代村（笛吹市八代町南）の加賀美平八郎が経営する私塾・成器舎 を経て後に上京し、1888年（明治21年）2月に福澤諭吉が塾長の慶應義塾に入る。その日から塾の構内にある、塾監・益田英次の家に寄宿。在学中には山梨日日新聞において小説「練絲痕（れんしこん）」を連載している。そして、明治25年（1892年）慶應義塾正科（現在の慶應義塾大学）卒業後の1892年（明治25年）には三井銀行（三井住友銀行の前身）に勤務。34歳まで勤め、東京本店調査課主任にまで昇進した。日露戦争終結後、三井物産の大物である飯田義一や、かつての上司で北浜銀行（三菱東京UFJ銀行の前身のひとつ）を設立した岩下清周に誘われ、大阪で岩下が設立を計画する証券会社の支配人になるために1907年（明治40年）、大阪へ赴任。しかし、恐慌に見舞われ証券会社設立の話は立ち消えてしまい、妻子を抱えて早速失業することになった。その頃に小林は箕面有馬電気鉄道の話を聞き、電鉄事業の同社には有望性があるとして、岩下を説得し北浜銀行に株式を引き受けさせることに成功。1907年（明治40年）6月に「箕面有馬電気軌道」と社名を改めて同年10月に設立されると、小林は同社の専務となった。もともと阪急電鉄の前身となる箕面有馬電気軌道は、鉄道国有法によって国有化された阪鶴鉄道（現在のJR福知山線）の関係者が福知山線に並行する電気鉄道路線を敷設し、大阪の梅田から箕面・宝塚・有馬方面へ頻発運転を行うことを目的として設立されようとしていたが、恐慌に見舞われて全株式の半分も引き受け手がないといった苦境に追い込まれていた。しかし社長は不在であったため、小林が経営の実権を握ることになった。そして1910年（明治43年）に開業しているが、有馬までの開業ではなく、現在の宝塚本線・箕面線に相当する区間にとどまっている。これに先立って線路通過予定地の沿線土地を買収し、郊外に宅地造成開発を行うことで付加価値を高めようとし、1910年（明治43年）に分譲を開始した。小林には、この時すでに「大衆向け」住宅の発想があったのか、サラリーマンでも購入できるよう、当時はまだ珍しかった割賦販売による分譲販売を行い成功を収めた。同年11月には箕面に動物園、翌年には宝塚に大浴場「宝塚新温泉」（宝塚温泉の武庫川対岸であったことからの命名）、そして1914年（大正3年）4月には、当時人気を得ていた三越の少年音楽隊を模して宝塚唱歌隊、後の宝塚歌劇団を創り上げ、沿線を阪急グループの聖地といわせるほどに発展させていく。沿線開発は、そのまま乗客の増加につながり、続いて神戸方面への路線開業に動き出すのを機に、会社名を阪神急行電鉄と改め（「阪急」の略称はこれ以後誕生）、神戸本線などを建設し、大阪・神戸間の輸送客の増加とスピードアップを図った。これらの経営が現在の阪急を創り上げる支えとなった。1927年（昭和2年）に小林は社長に就任した。また1920年（大正9年）には、日本ではじめてのターミナル・デパートを設ける計画をすすめる。路線の起点となる梅田駅にビルを建設し、1階に東京から白木屋を誘致し開店、2階に阪急直営食堂を入れた。次いで「阪急マーケット」と称した日用品販売店を2・3階に入れ、1929年（昭和4年）3月にはついに「阪急百貨店」という直営百貨店を、新ターミナルビルの竣工に合わせて開店させた。鉄道会社が直営で百貨店を経営するなどといった事例は日本国外にもなく、その前途に疑問を持つものも少なくなかったが、小林は「素人だからこそ玄人では気づかない商機がわかる」、「便利な場所なら、暖簾がなくとも乗客は集まるはず」などと言って事業を推し進め、世界恐慌のさなか多くの客を集めることに成功する。さらに、客のことを考えた事業姿勢があったといわれ、阪急百貨店における「ソーライス」の逸話などが、現在にも伝わっている。なお、阪急百貨店は1947年に分離独立し直営ではなくなったが、以後も文化的なつながりを保ち、ブランドとも言える「阪急」のイメージを確立し続けている。この百貨店事業の成功は、1929年（昭和4年）に六甲山ホテルの建設・開業といったホテル事業など派生事業の拡充、1932年（昭和7年）の東京宝塚劇場、1937年（昭和12年）の東宝映画の設立（1943年に両者は合併し、現在の「東宝」となった）といった興業・娯楽事業、1938年（昭和13年）の第一ホテル（東京・新橋）の開設とさらなる弾みを付ける契機となり、阪急東宝グループの規模は年々拡大の一途を辿った。ここであまり知られていないが、小林は東京急行電鉄の始祖である田園都市株式会社 を実質的に経営していた。1918年（大正7年）に渋沢栄一らが創設し、田園調布 を開発した事でも名高い田園都市株式会社の経営を小林は、名前を出さず、報酬も受け取らず、日曜日のみ、という約束で引き受け、玉川、調布方面の宅地開発と鉄道事業を進めたという。つまり、田園都市株式会社から鉄道部門を分離した目黒蒲田電鉄、及びその姉妹会社である東京横浜電鉄は、五島慶太に経営を引き継いだ後、小林の手法を用い東横線沿線に、娯楽施設やデパートを作ったのである。その一方で、日本で3番目のプロ野球球団である宝塚運動協会（1929年解散）のように、先進が過ぎて失敗した事業もある。しかし小林の野球への情熱は深く、1934年（昭和9年）に大日本東京野球倶楽部（現・読売ジャイアンツ）が、翌1935年（昭和10年）に大阪タイガースが、1936年（昭和11年）に名古屋軍が結成されるなど企業による球団設立が相次ぐと、小林は同じ年に「大阪阪急野球協会」を設立した。これが阪急職業野球団、のちの阪急ブレーブスである。小林が遺した娯楽事業は数多くあるが、小林は「私が死んでもタカラヅカとブレーブスだけは売るな」と言い残したと言われている。これらの施策は多くの私鉄に影響を与え、その中でも目黒蒲田電鉄・東京横浜電鉄（現・東京急行電鉄）の総帥五島慶太、駿豆鉄道（現・伊豆箱根鉄道）・多摩湖鉄道（現・西武多摩湖線）・近江鉄道の堤康次郎は、小林の影響を強く受けている。1934年（昭和9年）阪急社長を辞任後、同社グループの会長に就任し（1936年辞任）、さらに東京電燈に招かれて副社長・社長を歴任。電力戦で設備が余剰気味になり放漫経営に陥っていた東京電燈の経営を立て直し、財団法人東電電気実験所（現在の公益法人東電記念財団、東電記念科学技術研究所）、昭和肥料（現在の昭和電工）の設立にも関わった。また一時期、大谷竹次郎が東宝の社外取締役になったのと引き替えに松竹の社外取締役に就任していた。小林は近衛文麿に接近し、第2次近衛内閣で商工大臣となった。近衛は当初岸信介を商工大臣に考えていたが、岸は財界の人間を大臣として自らは次官にとどまることを希望したため小林が大臣となった。しかし統制経済もしくは計画経済論者の革新官僚の代表格である岸と資本主義的財界人である小林は強く対立し、小林は岸をアカであると批判した。企画院事件で企画院の革新官僚ら数人が共産主義者として逮捕されると岸は辞職せざるをえなくなる。しかし岸は軍部と結託し、小林が軍事機密を漏洩したとして反撃、小林も辞職、雑誌に『大臣落第記』を寄稿した。終戦後は幣原内閣で国務大臣を務めたが、第2次近衛内閣で商工大臣だったことで公職追放となった。1951年（昭和26年）に追放解除となった後は東宝の社長になるが、1957年（昭和32年）1月25日、大阪府池田市の自邸にて急性心臓性喘息で死去した。84歳没。晩年は慶應義塾評議員も務めた。私鉄主導による沿線開発を提言した小林であったが、当時から経営の自主性の不在など問題点が指摘されていた日本国有鉄道（国鉄）に関しても、すでにこの段階で「民営にすれば開発事業も可能で、資金調達も自由に行え、創意と責任のもと積極的な経営ができる」と民営化すべきとの発言を行うなど、生涯、論客としても知られた。