Miličín vznikl jako osada na zemské silnici a křižovatce obchodních cest. První písemná zmínka o něm pochází z roku 1283, kdy je zmiňován Vilém z Miličína, který byl příznivcem Záviše z Falkenštejna. Roku 1318 je jako pán a dědic uváděn Heřman z Miličína, který bojoval po boku krále Jana Lucemburského. Posledním příslušníkem rodu pánů z Miličína byl jeho syn Heřman, který padl 1346 v bitvě u Kresčaku. Před odjezdem do ciziny však prodal Miličín svému příbuznému Petru Rožmberkovi. Rožmberkové drželi Miličín až do roku 1591.