Podle archeologických nálezů byla lokalita obce Hlušice osídlena již v mladší době kamenné; první písemný záznam o obci pochází z roku 1322. Renesanční tvrz tu postavil Albrecht Kapoun ze Svojkova, v letech 1557 až 1569 purkrabí Pražského hradu a později purkrabí Hradeckého kraje. Tvrz byla poškozena v třicetileté válce. Po Kapounech vlastnili Hlušice krátce Kinští, pak Valdštejnové a od roku 1730 Martinicové, za nichž na přelomu 17. a 18. století vznikl v Hlušicích raně barokní zámek, pravděpodobně přestavbou zchátralé kapounovské tvrze. Roku 1743 koupili Hlušice Colloredové, kteří v roce 1749 nechali v zámeckém parku postavit barokní kapli sv. Barbory. Za války o bavorské dědictví v roce 1778 údajně v tehdejším zámku bydlil po šest týdnů císař Josef II. Zámek byl pro zchátralost v roce 1789 zbořen.