Sachverhalt:
A.
A._ (Mieter, Beschwerdeführer) und B._ sowie C._ (Vermieter, Beschwerdegegner) stehen in Streit bezüglich des Mietverhältnisses über die Geschäftsräume an der U._- strasse in V._, unter anderem betreffend Gültigkeit zweier von der Vermieterschaft ausgesprochenen Kündigungen und diverser vom Mieter verlangten Massnahmen zur Beseitigung von Mängeln und Beeinträchtigungen.
Nach Vereinigung der beiden Klagen betreffend Ungültigerklärung der zwei Kündigungen und Weiteres sowie nach einem Verfahren betreffend Rechtsverzögerung und einem betreffend Ausstand fällte das Bezirksgericht Baden, Präsidium des Zivilgerichts, am 15. November 2019 den Endentscheid, mit dem namentlich festgestellt wurde, dass die beiden Kündigungen ungültig sind, und weitere Anordnungen getroffen wurden. Der Mieter wurde als zu 95% obsiegend betrachtet, weshalb die Kosten- und Entschädigungsfolgen vollumfänglich den Vermietern auferlegt wurde (Verfahren VZ.2018.55 vereinigt mit VZ.2018.80).
Dagegen erhoben die Vermieter Berufung an das Obergericht des Kantons Aargau. Das Obergericht wies mit Entscheid vom 13. Januar 2021 die Berufung ab, soweit es darauf eintrat. Gegen diesen Endentscheid wurde kein Rechtsmittel ergriffen.
B.
Ebenfalls am 15. November 2019 fällte das Bezirksgericht Baden, Präsidium des Zivilgerichts, nachdem es zuvor bereits superprovisorisch Massnahmen angeordnet hatte, den Entscheid betreffend vorsorgliche Massnahmen (Verfahren SZ.2019.19). Es verpflichtete die Vermieter vorsorglich, das Kaltwasser in der Küche wieder anzuschliessen. Soweit darüber hinausgehend schrieb es das Massnahmeverfahren zufolge Gegenstandslosigkeit ab. Der Mieter wurde als zu über 90% der ursprünglichen Begehren obsiegend betrachtet. Entsprechend auferlegte das Gericht die Entscheidgebühr von Fr. 2'000.-- den Vermietern und verpflichtete diese, dem Mieter eine Parteientschädigung von Fr. 2'977.-- zu bezahlen (Dispositiv-Ziffern 2 und 3).
Dagegen gelangten die Vermieter mit Beschwerde an das Obergericht des Kantons Aargau. Sie verlangten, der Entscheid des Gerichtspräsidiums Baden (SZ.2019.19) vom 15. November 2019 sei "samt den superprovisorischen Verfügungen vom 11. und 26. Februar 2019" aufzuheben. Die Gerichtskosten und die ihnen zustehende Parteientschädigung seien dem Mieter aufzuerlegen, eventuell auf die Staatskasse zu nehmen. Ferner verlangten sie "zulasten der Staatskasse eine angemessene Genugtuung".
Mit Entscheid vom 9. Februar 2021 schrieb das Obergericht das Verfahren bezüglich der Verpflichtung zum Anschluss des Kaltwassers, der inzwischen erfolgt war, infolge Gegenstandslosigkeit ab. Mangels Rechtsschutzinteresse trat es auf die Beschwerde nicht ein, soweit die Vermieter die Aufhebung der superprovisorischen Anordnungen der Erstinstanz beantragten. Sodann trat das Obergericht auf die sinngemäss geltend gemachte Rechtsverweigerung bzw. -verzögerung und den Genugtuungsantrag nicht ein. Soweit sich die Beschwerde gegen den Kostenentscheid des Bezirksgerichts Baden richtete, hiess sie das Obergericht gut. In Abänderung der Dispositiv-Ziffern 2 und 3 auferlegte es die bezirksgerichtliche Entscheidgebühr von Fr. 2'000.-- dem Mieter und verpflichtete diesen, den Vermietern eine Umtriebsentschädigung von Fr. 2'000.-- zu bezahlen. Bezüglich der weiteren Begehren der Vermieter wies es die Beschwerde ab, soweit es darauf eintrat. Es befand, es gehe einzig um die Kosten des Verfahrens SZ.2019.19. Diese seien zu Unrecht den Vermietern auferlegt worden. Ein nicht leicht wiedergutzumachender Nachteil bzw. (besondere) Dringlichkeit, und damit die Voraussetzungen für die Anordnung (superprovisorischer) vorsorglicher Massnahmen, seien nicht ersichtlich gewesen. Da die Vermieter in eigener Sache prozessierten, dabei der Vermieter (B._) als Rechtsanwalt, hätten sie gestützt auf <ref-law> für das bezirksgerichtliche Massnahmeverfahren Anspruch auf eine Umtriebsentschädigung von Fr. 2'000.--. Die obergerichtliche Entscheidgebühr von Fr. 1'000.-- und eine Umtriebsentschädigung von Fr. 1'000.-- auferlegte es dem Mieter.
C.
Der Mieter erhebt Beschwerde an das Bundesgericht mit den Anträgen, in Aufhebung der diesbezüglichen Dispositiv-Ziffern des Entscheids des Obergerichts den bezirksgerichtlichen Kosten- und Entschädigungsentscheid zulasten der Beschwerdegegner zu bestätigen. Die obergerichtliche Entscheidgebühr von Fr. 1'000.-- sei den Beschwerdegegnern aufzuerlegen und dem Beschwerdeführer sei für das Verfahren vor dem Obergericht eine Parteientschädigung von Fr. 1'615.--, allenfalls eine Parteientschädigung in richterlich festgesetzter Höhe, zu bezahlen. Eventualiter sei die Angelegenheit zur neuen Festsetzung der Kosten an die Vorinstanz zurückzuweisen.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Auch wenn das Bezirksgericht mit dem Entscheid vom 15. November 2019 (SZ.2019.19) das Massnahmeverfahren separat und gleichentags wie der Endentscheid in der Hauptsache (VZ.2018.55 und VZ.2018.80) abgeschlossen hat, bleibt der dem vorliegenden Verfahren zugrunde liegende Entscheid ein Zwischenentscheid im Sinne von <ref-law> (vgl. dazu: <ref-ruling> E. 1.1.1 mit Hinweisen). Seine Anfechtbarkeit vor Bundesgericht ergibt sich aus <ref-law>, wiewohl der Endentscheid in der Hauptsache nicht angefochten wurde.
Schon vor der Vorinstanz ging es im Wesentlichen einzig um die erstinstanzlichen Kosten- und Entschädigungsfolgen des Massnahmeverfahrens von insgesamt Fr. 4'977.-- (Gerichtskosten von Fr. 2'000.-- und Parteientschädigung von Fr. 2'977.--). In einem solchen Fall ist nicht der Streitwert der Hauptsache massgebend (Urteil 4A_345/2018 vom 5. November 2018 E. 1.2.1 mit Hinweisen). Der erforderliche Streitwert in mietrechtlichen Angelegenheiten von Fr. 15'000.-- (<ref-law>) wird demnach vorliegend nicht erreicht. Dies selbst dann nicht, wenn die weiteren (aber hinfälligen) Beschwerdebegehren betreffend Anschluss des Kaltwassers und Genugtuung mit veranschlagt würden.
Der Beschwerdeführer erhebt demnach zu Recht eine subsidiäre Verfassungsbeschwerde. Diese erweist sich als das zulässige Rechtsmittel.
2.
Mit der subsidiären Verfassungsbeschwerde kann nur die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Die Verletzung von Grundrechten prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und präzise begründet worden ist (Art. 106 Abs. 2 und Art. 117 BGG). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 2.4; je mit Hinweisen).
Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich. Sie hat vielmehr anhand der Erwägungen des angefochtenen Urteils im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (<ref-law>; <ref-ruling> E. 2.8; <ref-ruling> E. 1.2 S. 234; <ref-ruling> E. 3 S. 352). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 5.4; <ref-ruling> E. 2.1; <ref-ruling> E. 3.1 S. 399). Willkür liegt nicht schon vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür nur auf, wenn er offensichtlich unhaltbar ist. Willkür liegt zudem nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 4.1; <ref-ruling> E. 2.1; je mit Hinweisen).
3.
Wird das Verfahren als gegenstandslos abgeschrieben und sieht das Gesetz nichts anderes vor, kann das Gericht gemäss <ref-law> die Prozesskosten in Abweichung der Verteilungsgrundsätze von <ref-law> nach Ermessen verteilen. Dabei ist etwa zu berücksichtigen, welche Partei Anlass zur Klage gegeben hat, welches der mutmassliche Prozessausgang gewesen wäre und bei welcher Partei die Gründe eingetreten sind, die dazu geführt haben, dass das Verfahren gegenstandslos wurde (<ref-ruling> E. 8.2; Urteile 4A_24/2019 vom 26. Februar 2019 E. 1.1; 4A_234/2018 vom 28. November 2018 E. 3.2; je mit Hinweisen).
Die Vorinstanz stellte namentlich auf den mutmasslichen Prozessausgang ab. Sie gelangte zur Kostenauflage an den Beschwerdeführer, nachdem sie in eingehender Beurteilung der einzelnen, von ihm anbegehrten Anordnungen zum Schluss gelangt war, diese wären allesamt nicht notwendig gewesen. Sie berücksichtigte dabei namentlich auch die Vorbringen der Beschwerdegegner und befand nach durchgeführtem Schriftenwechsel, die Voraussetzungen für die (superprovisorische) Anordnung vorsorglicher Massnahmen seien nicht gegeben gewesen, weshalb von einem mutmasslichen Unterliegen des Beschwerdeführers auszugehen sei.
4.
Was der Beschwerdeführer dagegen im Einzelnen (Baugerüst vor dem Eingang des Mietobjekts, verstellter Zugang zum Mietobjekt, Kalt- und Warmwasser, Benutzung des WCs durch Handwerker, Zugang der Handwerker zum Mietobjekt) vorbringt, erweist sich weitgehend als unzulässige appellatorische Kritik, mit der er der Auffassung der Vorinstanz lediglich seine eigene Sicht der Dinge gegenüberstellt. Darauf ist nicht weiter einzugehen. Die Sicht des Beschwerdeführers mag zwar Einiges für sich haben und ebenfalls vertretbar sein, lässt aber die anderslautende Ansicht der Vorinstanz nicht als offensichtlich unhaltbar erscheinen. Angesichts der auf Willkür beschränkten Kognition des Bundesgerichts besteht keine Handhabe, in die vorinstanzliche Beurteilung einzugreifen, da nicht hinreichend aufgezeigt wird, dass diese schlechterdings unvertretbar ist. Es bleibt damit bei der obergerichtlichen Verteilung der erstinstanzlichen Prozesskosten. Die Willkürrüge geht fehl, soweit überhaupt darauf eingetreten werden kann.
5.
5.1. Der Beschwerdeführer hält auch die vollumfängliche Auflage der Kosten und Entschädigung des obergerichtlichen Verfahrens zu seinen Lasten für willkürlich, dies unabhängig davon, ob in der Sache die vorinstanzliche Verlegung der erstinstanzlichen Prozesskosten bestätigt wird oder nicht. Die Beschwerdegegner hätten vor Obergericht mit ihrer Beschwerde nicht durchwegs obsiegt, sondern seien mit ihren Rechtsbegehren 1 (Aufhebung der Massnahmeentscheide) und 4 (Genugtuung zulasten des Staates) unterlegen. Die Vorinstanz begründe nicht, weshalb die Beschwerdegegner trotz des Unterliegens mit der Hälfte ihrer Rechtsbegehren als vollumfänglich obsiegend betrachtet werden. Dies sei nicht vereinbar mit <ref-law> und führe zu einem stossenden Ergebnis.
5.2. Die Verteilung und Liquidation der Prozesskosten beurteilt sich auch im Rechtsmittelverfahren nach den <ref-law>. Da dies insbesondere auch für die Verteilungsgrundsätze von <ref-law> gilt, werden die Prozesskosten des Berufungs- bzw. Beschwerdeverfahrens grundsätzlich nach dem Unterliegerprinzip verteilt (<ref-ruling> E. 3.2.2).
<ref-law> stellt den Grundsatz auf, dass die Prozesskosten der unterliegenden Partei auferlegt werden. Hat keine Partei vollständig obsiegt, so werden die Prozesskosten nach dem Ausgang des Verfahrens verteilt (<ref-law>). Diese Regelung räumt dem Richter bei der Kostenverteilung ein weites Ermessen ein. <ref-law> spricht generell vom "Ausgang des Verfahrens". Danach kann der Richter bei der Kostenverteilung insbesondere auch das Gewicht der einzelnen Rechtsbegehren innerhalb eines Rechtsstreits berücksichtigten (Urteile 5D_108/2020 vom 28. Januar 2021 E. 3.1; 5A_80/2020 vom 19. August 2020 E. 4.3; 4A_54/2018 vom 11. Juni 2018 E. 5.1), wie auch den Umstand, dass eine Partei in einer grundsätzlichen Frage (vorliegend: Kostenpunkt) obsiegt hat, was für die ähnliche Situation, dass die Klage zwar grundsätzlich, nicht aber in der Höhe der Forderung gutgeheissen wurde, überdies in <ref-law> ausdrücklich vorgesehen ist. In der Praxis wird in der Regel ein geringfügiges Unterliegen im Umfang von einigen Prozenten nicht berücksichtigt (Urteile 5A_80/2020 vom 19. August 2020 E. 4.3; 4A_207/2015 vom 2. September 2015 E. 3.1 mit weiteren Hinweisen).
Ermessensentscheide, zu denen der Entscheid über die Kostenverlegung nach Art. 106 Abs. 1 und 2 ZPO zählt (Urteile 5A_80/2020 vom 19. August 2020 E. 4.3; 4A_54/2018 vom 11. Juni 2018 E. 5.1), prüft das Bundesgericht im Rahmen der Beschwerde in Zivilsachen mit Zurückhaltung (vgl. <ref-ruling> E. 11.2; <ref-ruling> E. 2.1.3., 669 E. 3.1 S. 671, je mit Hinweisen). Liegt - wie vorliegend - eine subsidiäre Verfassungsbeschwerde vor, ist die Kostenverlegung nur auf Willkür zu überprüfen (Erwägung 2).
5.3. Vorliegend ist auch ohne explizite Begründung offensichtlich, dass die Vorinstanz den Schwerpunkt der Beschwerde bei der Anfechtung der erstinstanzlichen Kostenverlegung setzte. So führte sie aus, Gegenstand des Beschwerdeverfahrens seien die Kostenfolgen des nunmehr integral gegenstandslos gewordenen Verfahrens SZ.2019.19. Entsprechend spreche die Beschwerde zutreffend davon, dass es jetzt nur noch um die Kosten gehe. Sie schied daher alle darüber hinaus gehenden Anträge (auch des Beschwerdeführers auf Zusprechung der Mehrwertsteuer) mit kurzen Hinweisen aus. Mit Blick auf diese klare Schwerpunktsetzung ist ohne weiteres nachvollziehbar, wenn die Vorinstanz die Beschwerdegegner als "weit überwiegend" obsiegend wertete, und entsprechend die Kosten vollumfänglich dem Beschwerdeführer auferlegte.
Darin liegt keine willkürliche Anwendung von <ref-law>. Ebenso wenig kann von einem stossenden Ergebnis gesprochen werden. Dazu sei immerhin erwähnt, dass auch der Beschwerdeführer im Verfahren VZ.2018.55 vereinigt mit VZ.2018.80 nicht durchwegs mit allen Rechtsbegehren durchdrang (95%), ebenso wenig im erstinstanzlichen Verfahren SZ.2019.19 (über 90%), und dennoch die Prozesskosten vollumfänglich den Vermietern auferlegt wurden. Hier wie dort durfte das Gericht willkürfrei das Gewicht der einzelnen Rechtsbegehren innerhalb des Rechtsstreits berücksichtigen.
Die Willkürrüge erweist sich als unbegründet.
6.
Die subsidiäre Verfassungsbeschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (<ref-law>). Die Beschwerdegegner haben keinen Anspruch auf eine Entschädigung, da ihnen mangels Einholens einer Antwort aus dem bundesgerichtlichen Verfahren kein entschädigungspflichtiger Aufwand entstanden ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 27. April 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger