Po starem izročilu naj bi bile Jaromerice ustanovljene leta 1131. Prva pisna omemba je iz leta 1325, ko je Jan Luksemburški dal pokroviteljstvo cerkve cistercijanskemu samostanu v Sedlcu. Lastnik vasi Jaromerice je bil v tem času Rajmund Lihtenburški, lord na gradu Bítov. Od 14. stoletja je bila v Jaromericah tudi trdnjava. Na začetku 15. stoletja je kraj dobil tržne pravice. Leta 1498 je kralj Vladislav Jagelonski fevd Jaromerice daroval Vaclavu iz Ludanic. Leta 1522 ga je kupil Jan IV. iz Pernštejna. Iz leta 1554 izvira zbor čeških bratov. Poznejši lastniki so bili od leta 1534 Meziříčský iz Lomnice in leta 1613 Jiřim Rechenberk iz Želetic. Leta 1620 je bilo posestvo zaplenjeno zaradi udeležbe Rechenberka pri češki vstaji. Po bitki na Beli gori leta 1623 je bil prodan Gerhardu Questenberku. Od 1661 je bil lastnik Jan Antonin Questenberk in od 1686 Jan Adam Questenberk, ki je Jaromerice preoblikoval v barok. Baroni Questenberk so zaslužni, da so Jaromerice postale mesto. Bile so kulturno središče, v katerem je med drugim deloval tudi grajski orkester. Leta 1752 je lastništvo prešlo v roke gospodov Kounic oziroma Antona Wenzla. Vse do sredine 19. stoletja so bili najemodajalci, v njihovi lasti je bil do leta 1897.