小林市
当初は「夷守(ひなもり)」の名で呼ばれていた。これは夷敵を討つための兵の軍役所があったことに由来する。
源平合戦(治承・寿永の乱)の頃に三山城が完成するとその城を中心として政が行われるようになり、地名も「三山」へと変化し真幸院の中に組み込まれる。日下部氏による統治を経て、200年近く北原氏により統治されてきたが、永禄年間に北原氏の領地は家督問題に干渉してきた伊東義祐により横奪される。しかし、北原旧臣が御家再興を企図し、その願いに応じた島津貴久・北郷時久が領地奪還を支援したことで伊東氏の追い出しに成功。再び北原の領有に帰したが、北原家中の内訌により再び伊東が占領し返すなど混迷の十数年を送る。
元亀3年(1572年)、島津氏が木崎原の戦いで伊東氏に勝利する。以降、伊東の支配体制は大幅に弱体化し、 天正4年(1576年)に小林村の小林城が離反により島津氏に帰すると、小林城を中心とした治世が行われるようになり、地名も「小林」となり、以後は幕藩体制の終焉まで島津氏の治めるところとなる。
元和元年(1615年)に一国一城令が発せられると、薩摩藩の外城制に伴い、上の馬場に地頭仮屋を設けてそこを治所とした。
1889年(明治22年)5月1日 - 町村制施行により、西諸県郡五日町・十日町・堤村・水流迫村・東方村・北西方村、南西方村・細野村・真方村の区域をもって小林村が発足。
1912年(大正元年)12月25日 - 町制施行し、小林町となる。
1950年(昭和25年)4月1日 - 市制施行、小林市となる。
2006年(平成18年)3月20日 - 西諸県郡須木村と新設合併し、改めて小林市が発足。
2010年(平成22年)3月23日 - 西諸県郡野尻町を編入。
なお、(旧)小林市は宮崎県の市では唯一明治の大合併以降一度も合併を経験していなかったが、2006年の合併により消滅したため、宮崎県では全ての市が合併を経験していることになった。