První písemná zmínka o vsi a tvrzi pochází z roku 1265, kdy statek patřil Chotiborovi z Jimlína. Dalšími známými majiteli byli Slavibor a Předota z Jimlína. Jejich příbuzný, Záviš z Jimlína, roku 1346 bojoval za krále Jana Lucemburského v bitvě u Kresčaku. Další členové rodu na tvrzi sídlili do první poloviny patnáctého století. Již roku 1415 Jimlín připadl jako odúmrť králi Václavovi IV., který jej daroval Alšovi z Pozdně, Janu Skubelovi mladšímu a sirotkům po Alšovi z Jimlína. Roku 1416 si statek od krále vyprosili bratři z Kolovrat.