Od počátku 13. století byla obec v držení cisterciáckého kláštera na Velehradě. Zřejmě ve 14. století zde vznikla tvrz. V letech 1682-1686 byl ve vsi vybudován u panského dvora vrchnostenský zámek (jeho stavitelem byl Giovanni Pietro Tencalla), který sloužil jako rezidence velehradských opatů v blízkosti zemského hlavního města. Prokurátor velehradského kláštera (1725-1739) Engelbert Herrmann nechal k zámku v 30. letech 18. století přistavět soukromou kapli Panny Marie; v této době bylo významně přestavěno a rozšířeno i hospodářské zázemí zámku. Další kaple Panny Marie byla vybudována na nedalekém návrší - dnes ulice U lípy ("na blízkém pahorku východně nad vsí kapli s věží vystavil a v ní pro poutníky postavena socha Matky Boží, z Velehradu přinesená"). Tato poutní kaple Panny Marie byla kolem roku 1784 uzavřena, existuje však dodnes. Vedou k ní schody, po nichž kráčel Napoleon Bonaparte v předvečer bitvy u Slavkova 2. prosince 1805, když se seznamoval s okolím bojiště. Po zrušení velehradského kláštera v roce 1784 přešel klášterní majetek včetně nenovického statku do správy Náboženského fondu a následně do vlastnictví různých soukromých osob.