Kostel Všech svatých byl postaven zřejmě již ve 12. století jako gotická jednolodní stavba s věží. Zpočátku byl přifařen ke staršímu kostelu v Biskupicích. Poté býval kostelem farním, avšak po husitských válkách v 15. století duchovní správa v Jaroměřicích zanikla. V 16. století tu až do Bílé hory roku 1620 působili českobratrští duchovní. Majitel jaroměřického panství Jan Bartodějský z Bartoděj (panství vlastnil v letech 1609-1611) byl kostel s největší pravděpodobností přestavěn. Svědčí o tom např. zvon z roku 1611 "„pro slávu a ke cti Všem svatým“" i zvon s nápisem "„O rex gloriae veni cum pace“" (Ó králi slávy, přijď s pokojem). Za této přestavby byla asi také snesena klenba kněžiště, odsekány opěrné pilíře apsidy, zrušena gotická lomená okna a do boků lodi vestavěny dvě boční kaple. Od roku 1714 byl kostel Všech svatých filiálním kostelem nově zbudovaného kostela na Kalvárii, kde byla ustavena prozatímní duchovní správa. Roku 1809 byla zřízena samostatná farnost Jaroměřice.