阪神競馬場内にある乗馬センターで乗馬を学び、2006年4月にJRA競馬学校騎手課程第25期生として入学。2009年2月に競馬学校を卒業し騎手免許を取得する。目標とする騎手は福永祐一と池添謙一。同期には小野寺祐太、国分恭介、国分優作、丸山元気がいる。卒業供覧模擬レースではグランプリペガサスに騎乗し勝利した。2009年3月1日、小倉競馬場第1レースでトミケンプライマリに騎乗し、19歳の誕生日に初勝利。初騎乗・初勝利は内田博幸以来44人目で、競馬学校卒業生では藤岡康太以来8人目。また第9レースではニューロザリオで勝利、デビュー日の2勝は福永祐一以来13年ぶりの記録、競馬学校卒業生では2人目。8月2日、小倉記念でアンノルーチェに騎乗し重賞初騎乗（10着）。8月23日にはマストビートゥルーに騎乗してオープン特別競走の小倉日経オープンに勝利。特別競走初勝利を果たした。同年は計36勝を挙げ、JRA賞最多勝利新人騎手と中央競馬関西放送記者クラブ賞を受賞した。2010年7月18日にシンガポール、クランジ競馬場で実施された国際見習騎手招待シリーズ・アジアヤングガンズチャレンジ2010に中央競馬代表として、名古屋競馬所属の阪野学とともに出場のため遠征。7月16日第8競走Claas4一般戦で高岡秀行厩舎所属のMake A Returnに騎乗（12頭立て7着）し、日本国外の競馬で初騎乗。アジアヤングガンズチャレンジでは結果9位だった（10人中）。8月11日、園田競馬場で条件クラスの交流競走に騎乗するとともに、「修行のため」として岩田康誠を介して当日の平場競走3鞍に騎乗した。関東では松岡正海らJRAの若手騎手が南関東で何度もエキストラ騎乗をしているが、園田競馬場では元兵庫県競馬所属の小牧、岩田、赤木をのぞくと初めて。2011年1月17日高知競馬場で行われた第25回全日本新人王争覇戦に出場し、第1戦で6着、第2戦で2着となり総合3位（10人中）。2012年3月4日、改装された中京競馬場での最初の重賞となった第48回中日新聞杯をスマートギアで制覇した。また、同年にはデビュー年から乗り続けていたドリームバレンチノで函館スプリントステークスを制し、さらに同馬に騎乗したスプリンターズステークスで3着に入った。最終的に、2012年はデビューからの3年間の勝利数に迫る74勝を挙げ、関西リーディング7位（全国リーディング13位）に入るなど、松山にとって躍進の年となった。2015年、JBCスプリントをコーリンベリーで制し、GI（JpnI）初勝利。そして2017年4月16日、第77回皐月賞を単勝9番人気のアルアインで制し、38回目の挑戦にして念願の中央GI初勝利を飾る。この時妻がプレゼンターであった松坂桃李と共演した事があると明かしている。
嘉永元年1月27日（1848年3月2日）、田中藩砲術師範小林儀行（のち伊予松山藩士）の長男として江戸赤坂氷川台の藩邸に生まれる。万延元年（1860年）、高輪の東禅寺に設けられていたイギリス公使館に預けられ、医師ウィリアム・ウィリスから英語を学んだ。文久3年（1863年）2月、生麦事件後の日英関係悪化にともない公使館から引き取られ、まもなく慶應義塾に入社。「慶應義塾入社帳」には初筆にその名が記されている。翌年、幕府の洋学研究教育機関・開成所に移り、慶応2年（1866年）12月に英学教授手伝並出役、翌慶応3年12月に英学教授手伝出役となった。また慶応3年3月、伊予松山藩大小性となり、幕府崩壊後の明治元年（1868年）10月には同藩洋学司教を拝命。さらに横浜仏蘭西語学所に派遣されフランス語を学んでいる。明治2年（1869年）7月、官制改革により新政府のもとに大学校（同年12月に大学と改称）が置かれると、同年9月に大学少助教を命じられ、ほどなく大学中助教、大学大助教に昇任。明治4年（1871年）7月、文部省新設にともない文部大助教に更任された。この間、明治3年（1870年）6月に大阪洋学所在勤となり、明治4年1月には大学中博士入江文郎、同鈴木暢（唯一）とともに学術研究のため1年ほどの予定で欧州派遣を命じられた。小林は英国をめざし3月に出航。翌年6月（1872年7月）の帰国命令により、明治6年（1873年）1月に帰国した。帰国後は同年中に文部省六等出仕まで進み、明治10年（1877年）1月に文部省報告課雇となったのち、明治13年（1880年）6月に文部少書記官に就任。明治15年（1882年）8月には文部権大書記官に進み、明治18年（1885年）12月に非職となるまで文部省に在職した。省内では、文部省年報の英訳を手がけるとともに欧米教育資料の翻訳・紹介に従事。訳書として文部省から『馬耳蘇氏 記簿法』、『政体論』、『馬耳蘇氏 複式記簿法』、『教育辞林』が刊行されているほか、文部省刊行の『文部省雑誌』、『教育雑誌』には翻訳記事が多数掲載されている。簿記教科書『馬耳蘇氏 記簿法』は長期にわたり全国で使用され、『教育辞林』は刊行以前に訳稿が教育令立案の参考資料として重用された。また、明治6年9月から翌年頃まで報告課長、明治13年6月から報告局副長、明治14年（1881年）10月から報告局長、明治18年2月から学務一局副長を務め、さらに明治13年7月から翌年9月まで東京図書館長、明治14年4月から翌年1月まで体操伝習所主幹、明治18年12月中に東京大学予備門事務取扱を兼務した。明治21年（1888年）12月に非職満期となり退官した後も文部省の翻訳業務に携わり、引き続き文部省年報の英訳に従事。明治37年（1904年）に開催されたセントルイス万国博覧会に同省が出品した浩瀚な教育報告書の英訳も手がけた。そのほか、明治21年7月に大日本教育会理事、翌年12月に同会主事兼評議員となり、明治33年（1900年）には神田区学務委員に当選。翌明治34年（1901年）12月から明治36年（1903年）7月まで委員長を務めている。明治37年10月30日、享年57で死去し、東京下谷区谷中の天王寺に葬られた。