První písemná zmínka pochází z roku 1264 a mluví o Janu z Trmic, který byl služebníkem Boreše z Oseka. Další zmínka pochází z královské listiny Václava II. a mluví o držiteli panství s okolím, kde se těžil cín, Zvěstu de Tyrmiczovi. Trmice byly královským lénem, které však bylo podřízeno královským manům z Oseka a později z Krupky. Celý středověk také byly rozdělené řekou Bílinou na dvě různé panství, Horní a Dolní Trmice. Roku 1589 propustil Rudolf II. Trmice z léna. Poprvé nakrátko Trmice spojil Vavřinec Majdrle z Mansperka, který koupil nejdříve horní tvrz zkonfiskovanou po Bitvě na Bílé hoře a následně dolní tvrz roku 1629. Další spojení provedl Jan Hartvík, hrabě z Nostic, který koupil obě tvrze od synů zmíněného Vavřince Majdrleho. Trmicím se od té doby zásluhou hraběte dařilo, mimo jiné sem bylo přemístěno trhové právo z Řehlovic. Roku 1664 byly Trmice povýšeny Leopoldem I. na město i přes nesouhlas sousedního Ústí nad Labem disponujícího mílovým právem. Význam města rostl, v roce 1775 se zde konaly již 4 trhy do roka a roku 1785 byl Trmicím přiznán regulovaný magistrát.