Sachverhalt:
A.
A._ und B._, Eigentümer des in der Gewerbezone liegenden Grundstücks Nr. 1136, GB Müllheim, reichten am 28. März 2017 ein Baugesuch für eine Nutzungsänderung bzw. die Errichtung einer Abwartswohnung im Obergeschoss der Gewerbehalle ein, welche sich auf dem erwähnten Grundstück befindet.
Mit Entscheid vom 14. Dezember 2017 wies die Politische Gemeinde Müllheim das Baugesuch ab und führte zur Begründung aus, in der Gewerbezone seien nur Wohnungen für betrieblich an den Standort gebundenes Personal zulässig, was vorliegend nicht gegeben sei.
Gegen diesen Entscheid erhoben A._ und B._ am 14. Januar 2018 Rekurs beim Departement für Bau und Umwelt des Kantons Thurgau (DBU), welches den Rekurs am 15. Februar 2018 abwies.
Die von A._ und B._ dagegen eingereichte Beschwerde vom 5. März 2018 wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 13. Juni 2018 ab.
B.
Mit Eingabe vom 21. Oktober 2018 führen A._ und B._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen sinngemäss die Aufhebung des vorinstanzlichen Entscheids und die Bewilligung der beantragten Umnutzung des Obergeschosses der Gewerbehalle auf der Liegenschaft Nr. 1136 in eine Abwartswohnung.
Das DBU verzichtet auf eine Vernehmlassung. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen.

Erwägungen:
1.
1.1. Dem angefochtenen Urteil der Vorinstanz liegt eine baurechtliche Streitigkeit und damit eine öffentlich-rechtliche Angelegenheit zugrunde. Das Bundesgerichtsgesetz enthält auf dem Gebiet des Raumplanungs- und Baurechts keinen Ausschlussgrund von der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 lit. a und Art. 83 BGG). Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen und sind als Baugesuchsteller zur Beschwerde berechtigt (<ref-law>). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich einzutreten.
1.2. Nicht einzutreten ist hingegen auf die Beschwerde, soweit die Beschwerdeführer über den Streitgegenstand hinausgehend dem Bundesgericht diverse Fragen (u.a. zu Aufbewahrungsfristen von Baubewilligungsunterlagen in der Gemeinde) zur Klärung unterbreiten. Weiter ist auch nicht auf die Ausführungen der Beschwerdeführer einzutreten, soweit sie Bezug auf angeblich "falsche und unnötige" Argumente im Entscheid der Gemeinde vom 14. Dezember 2017 nehmen; Anfechtungsobjekt ist vorliegend einzig der Entscheid des Verwaltungsgerichts, welcher den Entscheid der Gemeinde sowie des DBU ersetzt (sog. Devolutiveffekt).
1.3. Mit der Beschwerde kann insbesondere die Verletzung von Bundesrecht, einschliesslich Bundesverfassungsrecht, gerügt werden (<ref-law>). Beschwerden an das Bundesgericht haben nebst den Begehren die Begründung zu enthalten; darin ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 1 und 2 BGG). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten und von kantonalem Recht gerügt wird (vgl. <ref-law>). Insofern gilt eine qualifizierte Rügepflicht (vgl. <ref-ruling> E. 1.2.2 S. 286 mit Hinweis).
2.
2.1. Dass die Behörden das kantonale bzw. kommunale Recht, insbesondere Art. 22 Ziff. 1 des Baureglements der Politischen Gemeinde Müllheim (BauR), willkürlich angewandt hätten, machen die Beschwerdeführer nicht geltend, jedenfalls nicht in substanziierter Weise (vgl. E. 1.3 hiervor). In der diesbezüglichen Erwägung der Vorinstanz, wonach mangels Zonenkonformität der geplanten Wohnnutzung im Obergeschoss der in der Gewerbezone liegenden Gewerbehalle die Baubewilligung für die geplante Nutzungsänderung zu Recht verweigert worden sei, kann in der Tat auch keine Rechtsverletzung erkannt werden (vgl. die zutreffenden Ausführungen in E. 3 des angefochtenen Entscheids). Nachfolgend ist somit bloss die von den Beschwerdeführern erhobene Rüge zu prüfen, sie seien rechtsungleich behandelt worden, weil ihr Umnutzungsgesuch im Gegensatz zu anderen verweigert worden sei.
2.2. Die Beschwerdeführer sind der Auffassung, die Bewilligungspraxis der Gemeinde sei bei früheren Abwartswohnungen viel "lockerer" gewesen als bei ihrem abgelehnten Umnutzungsgesuch. Dies zeige der Umstand, dass es bereits drei Wohnungen in der Gewerbezone gebe. Es sei nicht zulässig, wenn die Gemeinde ihre grosszügige Praxis "von früher zu heute" wechsle. Entgegen der Auffassung der Vorinstanz würden sie der Gemeinde jedoch nicht vorwerfen, sie habe früher eine eigentliche gesetzeswidrige Praxis verfolgt und unerlaubte Abwartswohnungen bewilligt, im Gegenteil, sie möchten, dass das Bundesgericht feststelle, die Gemeinde habe früher eine "normale ständige gesetzeskonforme" Bewilligungspraxis verfolgt. Die kantonalen Vorinstanzen hätten dieses Argument verkannt und ihnen vorgeworfen, sie könnten sich nicht auf eine Gleichbehandlung im Unrecht stützen, dieses Verhalten sei beschämend.
2.3. Die Vorinstanz hat vorliegend nachvollziehbar und ausführlich dargelegt, weshalb auch bei den von den Beschwerdeführern angeführten drei Liegenschaften von einer an sich unzulässigen Wohnnutzung auszugehen sei bzw. dass sich die Bewilligungsgründe nicht mehr ermitteln liessen (vgl. E. 5 des angefochtenen Entscheids). Indem sich die Beschwerdeführer aufgrund dieser Wohnungen darauf berufen würden, ihnen sei auch eine Bewilligung auszustellen, würden sie letztlich einen Anspruch auf Gleichbehandlung im Unrecht geltend machen.
2.4. Diese Auffassung der Vorinstanz trifft zu. Sie ist entgegen der Ansicht der Beschwerdeführer nicht zu beanstanden und schon gar nicht "beschämend". Vielmehr sind die Behörden aufgrund des Gleichbehandlungsgebots verpflichtet, eine als rechtswidrig erkannte Praxis aufzugeben. Soweit die Beschwerdeführer diesbezüglich einwenden, sie nähmen an, die bestehenden Wohnungen seien legal bewilligt worden, da in der Schweiz fast ausnahmslos alle Wohnungen legal bewilligt würden, kann ihnen daher von vornherein nicht gefolgt werden.
3.
3.1. Nach der bundesgerichtlichen Rechtsprechung geht der Grundsatz der Gesetzmässigkeit der Verwaltung in der Regel der Rücksicht auf die gleichmässige Rechtsanwendung vor. Der Umstand, dass das Gesetz in anderen Fällen nicht oder nicht richtig angewendet worden ist, gibt den Bürgern grundsätzlich keinen Anspruch darauf, ebenfalls abweichend vom Gesetz behandelt zu werden. Ausnahmsweise und unter strengen Bedingungen wird jedoch im Rahmen des verfassungsmässig verbürgten Gleichheitssatzes ein Anspruch auf Gleichbehandlung im Unrecht anerkannt (<ref-law>). Die Gleichbehandlung im Unrecht setzt voraus, dass die zu beurteilenden Fälle in den tatbestandserheblichen Sachverhaltselementen übereinstimmen, dass dieselbe Behörde in ständiger Praxis vom Gesetz abweicht und zudem zu erkennen gibt, auch inskünftig nicht gesetzeskonform entscheiden zu wollen. Dabei begründen wenige vereinzelte Fälle noch keine Praxis. Schliesslich dürfen keine überwiegenden Gesetzmässigkeitsinteressen oder Interessen Dritter bestehen (vgl. <ref-ruling> E. 7.1 S. 61; Urteil 1C_ 42/2018 vom 8. August 2018 E. 6.3; je mit Hinweisen).
3.2. Die Vorinstanz hat in Übereinstimmung mit der erwähnten bundesgerichtlichen Rechtsprechung ausgeführt, alleine aufgrund der von den Beschwerdeführern geltend gemachten Wohnnutzungen in drei anderen Liegenschaften in der Gewerbe- bzw. Industriezone lasse sich keine eigentliche gesetzeswidrige Praxis der kommunalen Baubewilligungsbehörde ableiten. Unbehelflich ist insofern auch der Einwand der Beschwerdeführer, die Vorinstanz habe festgestellt, dass eine Wohnung offiziell bewilligt worden sei, ohne einen Vergleich mit dem von ihnen eingereichten Umnutzungsgesuch vorzunehmen. Wie erwähnt, begründen wenige vereinzelte Fälle noch keine Praxis. Sodann wurde die fragliche Wohnung für den Hauswart des dortigen Gewerbehauses bewilligt und somit wohl im Einklang mit Art. 22 Abs. 1 BauR. Daraus können die Beschwerdeführer, die für ihren Schreinerei- und Holzbaubetrieb bzw. die Vermietung von Werkzeugen und Maschinen, Arbeiten von Kunden unter Anleitung etc. kein an den Standort gebundenes Personal benötigen, nichts zu ihren Gunsten ableiten.
Ebenfalls nicht zielführend ist ihre Rüge, wonach die Vorinstanz eine willkürliche Frist festgelegt habe, indem sie festgehalten habe, die Bewilligungen seien durchwegs vor mehr als 20 Jahren erteilt worden. Entgegen der Auffassung der Beschwerdeführer ist nicht entscheidend, ob diese Frist "zwischen den früheren und heutigen" Bewilligungen gesetzlich verankert ist, sondern einzig, ob die Gemeinde in ständiger Praxis vom Gesetz abweicht und zudem zu erkennen gibt, auch inskünftig nicht gesetzeskonform entscheiden zu wollen. Diese Voraussetzungen sind vorliegend aber beide zu verneinen. Dies ist zum einen daran zu erkennen, dass die Gemeinde die letzte Bewilligung für eine Wohnnutzung in der Gewerbezone offenbar vor knapp 20 Jahren erteilt hat. Zum anderen hat die Gemeinde, wie von der Vorinstanz ausgeführt, die Bauherrschaft nach Kenntnisnahme eines Zeitungsinserats betreffend die Vermietung einer der drei Wohnungen in der Gewerbezone ausdrücklich darauf hingewiesen, dass Wohnbauten nur für betrieblich an den Standort gebundenes Personal zulässig seien. Es ist daher nicht zu beanstanden, wenn die Vorinstanz erwog, daraus ergebe sich, die Gemeinde verfolge keine entsprechende gesetzwidrige Bewilligungspraxis. Es bestehen vorliegend mithin keinerlei Hinweise darauf, dass die Gemeinde in ständiger Praxis von Art. 22 Abs. 1 BauR abweicht und zudem zu erkennen gibt, auch inskünftig nicht gesetzeskonform entscheiden zu wollen.
3.3. Vorliegend hat die Vorinstanz daher zu Recht ausgeführt, es bestehe kein Anspruch auf Gleichbehandlung im Unrecht, weshalb den Beschwerdeführern die Bewilligung für die strittige Wohnnutzung im Obergeschoss der Gewerbehalle nicht erteilt werden könne.
4.
Gemäss den vorstehenden Erwägungen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den unterliegenden Beschwerdeführern unter solidarischer Haftung aufzuerlegen (<ref-law>). Die in ihrem amtlichen Wirkungskreis obsiegenden Behörden haben praxisgemäss keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3.
Es werden keine Parteientschädigungen zugesprochen.
4.
Dieses Urteil wird den Beschwerdeführern, der Politischen Gemeinde Müllheim, dem Departement für Bau und Umwelt des Kantons Thurgau und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 5. August 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Sauthier