Sachverhalt:
A.
Am 20. März 2018 erstattete die Kantonspolizei Thurgau einen Kurzbericht über ein auffälliges Fahrverhalten von A._, wonach dieser mit der linken Seite seines Fahrzeugs über die Mitte der Fahrbahn gefahren sei und das entgegenkommende Patrouillenfahrzeug nicht bemerkt habe. Nachdem A._ dem Strassenverkehrsamt daraufhin am 25. April 2018 einen aktuellen ärztlichen Bericht eingereicht hatte, der seine Fahrtauglichkeit bestätigte, teilte ihm das Strassenverkehrsamt mit, dass die Fahreignung weiterhin gegeben sei. Nach einem weiteren Kurzbericht der Kantonspolizei Thurgau über ein auffälliges Fahrverhalten von A._ vom 31. Mai 2018 - einer gefährlichen Situation zwischen ihm und einem E-Bike-Fahrer - wurde A._ zu einer Kontrollfahrt aufgeboten. Diese wurde am 5. September 2018 durchgeführt, wobei der Experte die Kontrollfahrt als nicht bestanden wertete.
B.
Ebenfalls am 5. September 2018 verfügte das Strassenverkehrsamt den Entzug des Führerausweises aller Kategorien, Unterkategorien und Spezialkategorien auf unbestimmte Zeit. Voraussetzung für die Aufhebung des Entzugs sei ein positives verkehrsmedizinisches Gutachten einer Ärztin oder eines Arztes der Stufe 4 und das Bestehen einer neuen Führerprüfung.
Den dagegen erhobenen Rekurs hiess die Rekurskommission für Strassenverkehrssachen am 13. Dezember 2018 teilweise gut. Sie bestätigte die angefochtene Verfügung mit Ausnahme der Ziff. 3 des Dispositivs und entschied, Voraussetzung für die Aufhebung des Führerausweisentzugs sei das Bestehen einer neuen Führerprüfung und ein aktuelles vertrauensärztliches Zeugnis einer Ärztin oder eines Arztes der Stufe 3.
C.
Eine gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 22. Mai 2019 ab.
D.
Dagegen führte A._ am 15. Juli 2019 Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde. Er beantragt die Aufhebung des angefochtenen Entscheids und die Wiederaushändigung des Führerausweises. Eventualiter beantragt er, dies sei mit adäquaten Auflagen zu verbinden; subeventualiter sei die Kontrollfahrt in Begleitung eines neutralen Beobachters zu wiederholen.
Das Verwaltungsgericht Thurgau schliesst auf Abweisung der Beschwerde und verweist auf seinen Entscheid. Die Rekurskommission und das Bundesamt für Strassen ASTRA schliessen ebenfalls auf Abweisung der Beschwerde. Das Strassenverkehrsamt Thurgau verzichtet auf eine Stellungnahme.

Erwägungen:
1.
1.1. Nach Art. 82 lit. a BGG beurteilt das Bundesgericht Beschwerden in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht grundsätzlich auch auf dem Gebiet des Strassenverkehrsrechts zur Verfügung. Allerdings ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 83 lit. t BGG unzulässig gegen Entscheide über das Ergebnis von Prüfungen und anderen Fähigkeitsbewertungen, namentlich auf den Gebieten der Schule, der Weiterbildung und der Berufsausübung. Wie das Bundesgericht bereits mehrfach entschieden hat, handelt es sich bei der Kontrollfahrt um eine solche Fähigkeitsprüfung, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht zur Verfügung steht (<ref-ruling> E. 1.1 S. 503; <ref-ruling> E. 1.1 S. 62 ff.; Urteil 1C_135/2019 vom 4. September 2019 E. 1.1).
1.2. Der Beschwerdeführer hat jedoch auch subsidiäre Verfassungsbeschwerde erhoben, die nach den Voraussetzungen von Art. 113 ff. BGG zulässig ist. Gemäss Art. 115 BGG ist zur Verfassungsbeschwerde berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Der Beschwerdeführer ist durch den Führerausweisentzug nach der nicht bestandenen Kontrollfahrt unmittelbar in seinen rechtlich geschützten Interessen betroffen und zur subsidiären Verfassungsbeschwerde legitimiert.
1.3. Mit der Verfassungsbeschwerde kann ausschliesslich die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Das Bundesgericht prüft die Verletzung von Grundrechten nur, soweit eine entsprechende Rüge vorgebracht und begründet worden ist. Dabei gilt eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.3 S. 30 mit Hinweis). Soweit der Beschwerdeführer die Verletzung von kantonalen Gesetzen geltend macht und dabei nicht deren willkürliche Anwendung kritisert, ist seine Beschwerde somit unzulässig. Er macht auch nicht geltend, die von ihm angerufene Kantonsverfassung würde ihm weitergehende Rechte gewährleisten. Insoweit ist auf die Beschwerde ebenfalls nicht einzutreten.
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie auf einer Rechtsverletzung im Sinne von Art. 116 BGG beruht (Art. 118 Abs. 1 und 2 BGG)
2.
Gemäss Art. 14 Abs. 1 des Strassenverkehrsgesetzes vom 19. Dezember 1958 (SVG; SR 741.01) müssen Motorfahrzeugführer über Fahreignung und Fahrkompetenz verfügen. Nach Art. 16 Abs. 1 SVG sind Ausweise und Bewilligungen zu entziehen, wenn festgestellt wird, dass die gesetzlichen Voraussetzungen zur Erteilung nicht oder nicht mehr bestehen. Art. 16d SVG legt fest, dass der Führerausweis einer Person unter anderem dann auf unbestimmte Zeit entzogen wird, wenn ihre körperliche oder geistige Leistungsfähigkeit nicht ausreicht. Gemäss Art. 29 Abs. 2 lit. a der Verordnung vom 27. Oktober 1976 über die Zulassung von Personen und Fahrzeugen zum Strassenverkehr (Verkehrszulassungsverordnung, VZV; SR 741.51) wird der Führerausweis insbesondere als Folge einer nicht bestandenen Kontrollfahrt entzogen.
3.
Vorliegend absolvierte der Beschwerdeführer eine Kontrollfahrt, die vom Experten als ungenügend bewertet wurde. Daraufhin entzog ihm das Strassenverkehrsamt den Führerausweis. Der Beschwerdeführer erhebt hierzu verschiedene verfahrensrechtliche Rügen.
3.1. Er macht zunächst eine Verletzung der Ausstandsregeln durch das Strassenverkehrsamt geltend, welches ihm den Namen des Experten vor der Kontrollfahrt nicht mitgeteilt habe. Die vorgängige Mitteilung sei vorliegend besonders wichtig, da die Kontrollfahrt gemäss Art. 29 Abs. 3 VZV nicht wiederholt werden könne. Er sieht auch eine Verletzung der Ausstandsregeln im Umstand, dass er nicht vorgängig über die Teilnahme einer weiteren Person vom Strassenverkehrsamt informiert worden sei.
3.2. Die Vorinstanz führte dazu aus, es treffe zu, dass der Name des Experten dem Beschwerdeführer vor der Kontrollfahrt nicht bekannt gewesen sei. Es sei jedoch fraglich, ob das Strassenverkehrsamt verpflichtet gewesen sei, ihn unaufgefordert über die Identität des Experten zu informieren. Dies müsse aber nicht abschliessend geklärt werden, denn der Beschwerdeführer habe weder im Rekurs- noch im Beschwerdeverfahren irgendwelche Ausstandsgründe gegenüber dem Experten geltend gemacht. Er habe sich auch nicht gegen die Teilnahme einer weiteren Person des Strassenverkehrsamts gewehrt, sondern habe vor der Rekurskommission ausgesagt, diese hätte nichts gesagt und auch nicht gestört.
3.3. In Verfahren vor Verwaltungsinstanzen - wie hier dem Strassenverkehrsamt - gewährleistet Art. 29 Abs. 1 BV den Anspruch auf gleiche und gerechte Behandlung. Das Gebot der Unbefangenheit, wonach kein befangenes Behördenmitglied am Entscheid mitwirken darf, bildet einen Teilgehalt dieses Grundrechts (<ref-ruling> E. 5.2 S. 329 mit Hinweisen). Art. 29 Abs. 1 BV verpflichtet eine Amtsperson zum Ausstand, wenn sie in der Sache ein persönliches Interesse haben oder aus anderen Gründen in der Sache befangen sein könnte (vgl. <ref-ruling> E. 2.1.3 S. 231; Urteil 2C_110/2019 vom 9. Dezember 2019 E. 5.1).
Daraus ergibt sich auch ein Recht der Betroffenen auf Kenntnis der Namen der entscheidtragenden Personen (SCHINDLER, Die Befangenheit der Verwaltung, 2002, S. 199; vgl. für die Ausstandspflicht für Gerichtspersonen [Art. 30 BV], <ref-ruling> E. 3.6 S. 136). Dies gilt nicht nur für die Behördenmitglieder im engeren Sinne, sondern auch für Expertinnen und Experten. Es ist jedoch fraglich, zu welchem Zeitpunkt die Identität dieser Personen mitgeteilt werden muss (vgl. jedoch, für den Bereich des Sozialversicherungsrechts, Art. 44 ATSG, wonach die Namen der Expertinnen und Experten vorgängig bekannt gegeben werden muss, und das zur Publikation vorgesehene Urteil 9C_413/2019 vom 4. Dezember 2019 E. 4).
Die Frage kann vorliegend jedoch offen bleiben, da dem Beschwerdeführer durch die Nicht-Bekanntgabe der Identität des Experten kein Nachteil erwachsen ist. Entgegen seinen Behauptungen hatte er spätestens im Verfahren vor der Rekurskommission Kenntnis vom Namen des Experten, der seine Kontrollfahrt bewertet hat. Dessen Bericht bildete Teil der Akten der Rekurskommission und wurde dem Rechtsvertreter des Beschwerdeführers zugestellt (act. 12 und 13 Rekurskommissionsakten). Letzterer hat jedoch keine konkreten Ausstandsgründe geltend gemacht, weder vor der Rekurskommission oder vor dem Verwaltungsgericht noch in der vorliegenden Beschwerde. Wer jedoch eine entscheidtragende Person nicht unverzüglich ablehnt, wenn er vom Ablehnungsgrund Kenntnis erhält, sondern sich stillschweigend auf den Prozess einlässt, verwirkt den Anspruch auf spätere Anrufung der verletzten Verfassungsbestimmungen (<ref-ruling> E. 2.2 S. 336; <ref-ruling> E. 2c S. 487). Sodann ergeben sich auch keine Hinweise für eine mögliche Befangenheit des Experten aus den Akten. Dem Beschwerdeführer ist somit durch die Nicht-Bekanntgabe kein Nachteil erwachsen, womit keine Verletzung des Art. 29 BV vorliegt.
Gleiches gilt auch in Bezug auf die zweite Person des Strassenverkehrsamts, die bei der Kontrollfahrt dabei war. Auch von deren Identität hatte der Beschwerdeführer spätestens im Verfahren vor der Rekurskommission Kenntnis und auch gegen sie machte er keine Ausstandsgründe geltend, weder in den vorangehenden Verfahren noch vor Bundesgericht. Es liegt keine Verletzung von Art. 29 BV vor. Schliesslich ist es zwar verständlich, dass die Anwesenheit einer zusätzlichen Person im Fahrzeug zusätzlichen Stress beim Beschwerdeführer auslösen kann; es ist jedoch nicht ersichtlich, inwiefern diese Vorgehensweise vonseiten des Strassenverkehrsamts verfassungswidrig sein sollte.
4.
Der Beschwerdeführer rügt weiter, die Begründung des negativen Prüfungsergebnisses durch den Experten genüge den verfassungsrechtlichen Begründungsanforderungen von Art. 29 Abs. 2 BV nicht.
4.1. Laut der Vorinstanz habe sich der Experte während der Kontrollfahrt vom 5. September 2018 nicht mit dem Ankreuzen der einzelnen Positionen begnügt, sondern zusätzliche Bemerkungen angebracht, u.a. dass ein Lenkradeingriff notwendig geworden sei, weil der Beschwerdeführer einen Spurwechsel ohne Beobachten vorgenommen und so ein nachfolgendes Fahrzeug gefährdet habe. Nach Aufforderung durch das Strassenverkehrsamt habe der Experte Mitte Oktober 2018 einen schriftlichen Bericht über die Kontrollfahrt verfasst. Dies sei zwar nicht innert weniger Tage nach der Kontrollfahrt geschehen, der Beschwerdeführer habe aber zuvor auch keinen detaillierten Bericht verlangt. Es gebe keine Gründe, an der Aussagekraft des Berichts zu zweifeln. Insbesondere seien die vom Experten im ausführlichen Bericht als gravierend und erheblich bezeichneten Fehler mehrheitlich bereits im Rahmen von Bemerkungen auf dem Formular erfasst worden, u.a. jener, der zu einem Lenkradeingriff geführt habe.
Im Übrigen habe der Experte in seiner Beurteilung nicht einseitig nur Fehler des Beschwerdeführers zu dessen Lasten vermerkt, sondern auch dessen positive Verhaltensweisen festgehalten. Selbst wenn sich der Vorfall mit dem Lenkradeingriff nicht genau so zugetragen haben sollte wie vom Experten geschildert, dürfe nicht übersehen werden, dass dem Beschwerdeführer weitere Mängel angelastet worden seien. Bereits diese Mängel würden dazu führen, dass die Kontrollfahrt als nicht bestanden zu gelten habe.
4.2. Der Beschwerdeführer hält dagegen, aus dem vorgedruckten Formular für die Kontrollfahrten, das nur rudimentär angekreuzt worden sei, werde nicht ersichtlich, wieso seine Kontrollfahrt als ungenügend eingestuft worden sei. Ein Bericht müsse unmittelbar nach Beendigung der Fahrt zu verfasst werden und nicht erst viele Wochen danach. Die Rekurskommission habe einen ausführlichen Bericht einholen müssen, um sich ein Bild von der Sachlage verschaffen zu können. Sie habe ausserdem ausgeführt, es könne im Nachhinein nicht mehr genau abgeschätzt werden, wie die Kontrollfahrt im Detail abgelaufen sei. Damit sei erstellt, dass das fragliche Protokoll nicht genüge. Es sei ausserdem nicht erheblich, ob der Beschwerdeführer eine einlässliche Begründung verlangt habe oder nicht; eine solche habe in jedem Fall zu erfolgen.
Die Begründungsdichte müsse vorliegend besonders hoch sein, da der Führerausweisentzug auf weitem Ermessen der prüfenden Person basiere. Es müsse ausführlich, nachvollziehbar und vor allem in einer Form berichtet werden, die eine Erwiderung des Betroffenen überhaupt erst zulassen würde. Der kurze Vermerk, es sei ein unaufmerksamer Spurenwechsel vorgenommen worden, reiche nicht. Es könne auch nicht ermittelt werden, ob ein Eingreifen des Experten zwingend nötig gewesen wäre, da die Distanzen zum allenfalls gefährdeten Drittfahrzeug nicht im Bericht vermerkt seien. Der Bericht enthalte auch keinen Hinweis darauf, dass eine weitere Person des Strassenverkehrsamts bei der Kontrollfahrt dabei gewesen sei.
Der Beschwerdeführer verweist ausserdem auf einen Entscheid der Verwaltungsrekurskommission des Kantons St. Gallen von 2011, wonach weder das summarische Prüfungsprotokoll noch der Bericht des Verkehrsexperten als Begründung ausreiche.
4.3. Aus dem in Art. 29 Abs. 2 BV verankerten Anspruch auf rechtliches Gehör ergibt sich für Prüfungsexpertinnen und -experten die Pflicht, das Ergebnis der Führerprüfung in einer Weise zu begründen, die dem Betroffenen die sachgerechte Anfechtung ermöglicht (<ref-ruling> E. 2a S. 149; <ref-ruling> E. 2c S. 14 f.). Während der Prüfungsfahrt haben diese naturgemäss keine Zeit für eine eingehende Protokollierung des Verlaufs der Fahrt, müssen sie doch die Leistungen des Prüflings fortlaufend beurteilen und zudem stets bereit sein, bei sicherheitsrelevantem Fehlverhalten sofort einzugreifen (Urteil 1C_600/2012 vom 16. April 2013 E. 2.1). Wie das Bundesgericht bereits entschieden hat, ist es verfassungsrechtlich nicht zu beanstanden, die Fahrfehler des Prüflings zunächst bloss durch Ankreuzen auf dem vorgedruckten Formular "Prüfungsbericht Führerprüfung" (rudimentär) festzuhalten und dieses Protokoll anschliessend - wegen der mit dem Zeitablauf verbundenen Abnahme des Erinnerungsvermögens zeitnah, d.h. jedenfalls innert weniger Tage - durch einen schriftlichen "Bericht über die nicht bestandene praktische Führerprüfung" zu ergänzen (Urteil 1C_600/2012 vom 16. April 2013 E. 2.1).
Auch im vorliegenden Fall hat der Experte die Fahrleistungen und -fehler des Beschwerdeführers während der Kontrollfahrt durch Ankreuzen der Felder auf dem vorgedruckten Formular festgehalten. Zusätzlich hat er jedoch auf dem Formular verschiedene Bemerkungen angebracht und unter anderem darauf hingewiesen, dass ein Lenkradeingriff notwendig geworden war. Einige Wochen später, nachdem die Rekurskommission ihn dazu aufgefordert hatte, verfasste der Experte schliesslich einen schriftlichen Bericht zur Kontrollfahrt. Diese Vorgehensweise erscheint sinnvoll und ist verfassungsrechtlich nicht zu beanstanden. Ein eingehender Bericht braucht nicht verfasst zu werden, wenn die betroffene Person den Prüfungsentscheid akzeptiert. Die Expertin oder der Experte muss jedoch aufgrund der Notizen in der Lage sein, einen solchen abzufassen. Dies ist unter Umständen nicht der Fall, wenn die Expertin oder der Experte lediglich vorgedruckte Felder angekreuzt hat, ohne weitere Notizen anzubringen. Vorliegend hat der Experte jedoch verschiedene zusätzliche Bemerkungen auf dem Prüfungsformular angebracht. Die Vorinstanz hat zu Recht festgehalten, dass der Experte unter diesen Umständen in der Lage war, einen eingehenden Bericht auch einige Wochen nach der Kontrollfahrt zu verfassen.
Weiter ist es zwar seltsam, dass das Prüfungsformular die Anwesenheit einer weiteren Person des Strassenverkehrsamt nicht erwähnt; daraus ergibt sich jedoch keine Verfassungswidrigkeit betreffend die Begründung des Nicht-Bestehens der Kontrollfahrt.
Soweit der Beschwerdeführer geltend macht, er habe sich korrekt verhalten und ein Lenkradeingriff sei nicht nötig gewesen, geht es in der Sache um den Vorwurf der willkürlichen Sachverhaltsfeststellung durch die Vorinstanz, was der Beschwerdeführer jedoch nicht substantiiert rügt (vgl. E. 1.3 und 1.4). Auch wenn dieser Einwand geprüft werden müsste, erschiene es nicht willkürlich festzuhalten, dass die Kontrollfahrt auch ohne den umstrittenen Lenkradeingriff, aufgrund weiterer festgehaltener Mängel als nicht bestanden zu gelten hat.
Der Hinweis des Beschwerdeführers auf einen Entscheid der Verwaltungsrekurskommission des Kantons St. Gallen ist ausserdem irrelevant, zumal das Bundesgericht nicht an die Rechtsprechung kantonaler Gerichte gebunden ist.
5.
Schliesslich ist die Behauptung des Beschwerdeführers, man habe ihm nicht mitgeteilt, dass er die Kontrollfahrt mit seinem eigenen Fahrzeug absolvieren könne, offensichtlich unzutreffend. Die vom Strassenverkehrsamt gewählte Formulierung im entsprechenden Aufgebot ("Bitte finden Sie sich mit ihrem Fahrzeug...") ist unmissverständlich.
6.
Nach dem Gesagten wurde die Kontrollfahrt verfassungskonform durchgeführt. Art. 29 Abs. 2 VZV sieht als Konsequenz einer nicht bestandenen Kontrollfahrt den Entzug des Führerausweises vor. Die Wiederaushändigung des Führerausweises unter speziellen Auflagen oder die Wiederholung der Kontrollfahrt sind ausgeschlossen (Art. 29 Abs. 3 VZV). Die Eventualbegehren des Beschwerdeführers sind somit ebenfalls unbegründet. Die Beschwerde ist abzuweisen.
7.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Kosten (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist nicht einzutreten.
2.
Die subsidiäre Verfassungsbeschwerde ist abzuweisen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird dem Beschwerdeführer, der Rekurskommission für Strassenverkehrssachen des Kantons Thurgau, dem Strassenverkehrsamt des Kantons Thurgau, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Strassen schriftlich mitgeteilt.
Lausanne, 28. April 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Hänni