Sachverhalt:
A.
Mit Verfügung vom 20. August 2015 entzog das Strassenverkehrsamt des Kantons Zürich A._ (geb. 1941) den Führerausweis auf unbestimmte Zeit ab dem 28. August 2015 und machte die Wiedererteilung des Führerausweises vom Vorliegen eines günstig lautenden verkehrsmedizinischen Gutachtens des Instituts für Rechtsmedizin der Universität Zürich (IRMZ) oder eines Arztes/einer Ärztin mit dem Titel "Verkehrsmediziner/in SGRM" oder mit einem von der SGRM als gleichwertig anerkannten Titel abhängig. Dem Lauf der Rekursfrist oder der Einreichung eines Rekurses entzog es die aufschiebende Wirkung.
Mit Entscheid vom 31. Mai 2016 wies die Sicherheitsdirektion des Kantons Zürich den Rekurs von A._ ab, soweit er nicht gegenstandslos geworden war. Die von ihm dagegen erhobene Beschwerde wies der Einzelrichter der 1. Abteilung des Verwaltungsgerichts des Kantons Zürich mit Urteil vom 10. November 2016 ab.
B.
A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung der Verfügung des Strassenverkehrsamts sowie die unverzügliche Herausgabe des ihm entzogenen Führerausweises. Eventualiter seien das Urteil des Verwaltungsgerichts, der Entscheid der Sicherheitsdirektion und die Verfügung des Strassenverkehrsamts ersatzlos aufzuheben.
Die Rekursabteilung der Sicherheitsdirektion hat auf eine Vernehmlassung verzichtet. Das Verwaltungsgericht, das Strassenverkehrsamt sowie das Bundesamt für Strassen (ASTRA) beantragen die Abweisung der Beschwerde. Dazu hat sich der Beschwerdeführer geäussert.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid über eine Administrativmassnahme gegen einen Fahrzeuglenker. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> offen; ein Ausnahmegrund ist nicht gegeben (<ref-law>). Der Beschwerdeführer ist zur Beschwerde befugt (<ref-law>). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, sodass auf die Beschwerde einzutreten ist.
2.
In formeller Hinsicht rügt der Beschwerdeführer eine Verletzung seines Anspruchs auf rechtliches Gehör (<ref-law>), da die Vorinstanz sich nicht ausdrücklich zu allen seinen Vorbringen geäussert habe. Nach der Rechtsprechung stellt dies jedoch noch keine Gehörsverletzung dar. Die Vorinstanz konnte sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung war auch so abgefasst, dass sich der Beschwerdeführer über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen konnte (<ref-ruling> E. 2.2 S. 84; <ref-ruling> E. 5.2 S. 236 mit Hinweisen).
3.
3.1. Der Beschwerdeführer bringt vor, er erfülle die medizinischen Minimalanforderungen und verfüge insoweit über die erforderliche Fahreignung zum sicheren Führen von Fahrzeugen.
3.2. Nach <ref-law> sind Ausweise zu entziehen, wenn die gesetzlichen Voraussetzungen für ihre Erteilung nicht mehr gegeben sind. Grundvoraussetzung für die Erteilung des Führerausweises ist die Fahreignung. Ist sie nicht mehr gegeben, weil die körperliche und geistige Leistungsfähigkeit einer Person nicht oder nicht mehr ausreicht, ein Motorfahrzeug sicher zu führen (<ref-law>), ist der Führerausweis gemäss <ref-law> auf unbestimmte Zeit zu entziehen. Unter diese Bestimmung fallen alle medizinischen und psychischen Gründe, welche die Fahreignung ausschliessen. Da der Sicherungsentzug einen schwerwiegenden Eingriff in den Persönlichkeitsbereich des Betroffenen bewirkt, setzt er eine sorgfältige Abklärung aller wesentlichen Gesichtspunkte voraus (<ref-ruling> E. 3.1 S. 387 f. mit Hinweis). Für die psychologischen Aspekte wird der Begriff der psychophysischen Leistungsfähigkeit verwendet. Dabei geht es darum, ob bei einem Menschen aus verkehrspsychologischer Sicht Hirnleistungsdefizite (kognitive Beeinträchtigungen in den Bereichen optische Orientierung, Konzentrationsfähigkeit, Aufmerksamkeit, Reaktionsfähigkeit und Belastbarkeit) in einem Ausmass bestehen, dass eine Teilnahme als Lenker der entsprechenden Fahrzeugkategorie am Strassenverkehr mit hoher Wahrscheinlichkeit eine Überforderung darstellen würde (<ref-ruling> E. 3.5 S. 389).
3.3. <ref-law> verweist für die medizinischen Mindestanforderungen zum Erwerb eines Führerausweises auf Anhang 1 zur VZV. Nach der ursprünglichen Fassung (in Kraft bis zum 30. Juni 2016) durfte der Fahrzeugführer insbesondere keine schweren Nervenkrankheiten, keine Geisteskrankheiten von Bedeutung, keinen Schwachsinn, keine Psychopathien, keine periodischen Bewusstseinseintrübungen oder -verluste und keine Gleichgewichtsstörungen aufweisen. Nach der geltenden Fassung (in Kraft seit 1. Juli 2016) darf der Fahrzeugführer z.B. keine Krankheiten oder organisch bedingte psychische Störungen mit bedeutsamer Beeinträchtigung von Bewusstsein, Orientierung, Gedächtnis, Denkvermögen, Reaktionsvermögen oder andere Hirnleistungsstörungen aufweisen. Er darf zudem keine manische oder erhebliche depressive Symptomatik und keine Beeinträchtigung von verkehrsrelevanten Leistungsreserven aufzeigen.
3.4. Die Vorinstanz hat sich auf das verkehrsmedizinische Gutachten des IRMZ vom 6. Juli 2015 sowie auf die ergänzende verkehrsmedizinische Stellungnahme vom 27. April 2016 abgestützt. Das Gutachten wurde vor Inkrafttreten der revidierten Fassung des Anhangs 1 zur VZV verfasst. Da es aber im Moment des Inkrafttretens noch nicht älter als ein Jahr war und von einer von der kantonalen Behörde bezeichneten Untersuchungsstelle verfasst wurde, kann - entgegen der Auffassung des Beschwerdeführers - auch unter dem neuen Recht weiterhin darauf abgestellt werden (vgl. die Übergangsbestimmungen zur Änderung vom 1. Juli 2015 in <ref-law>).
Dem verkehrsmedizinischen Gutachten kann im Wesentlichen Folgendes entnommen werden: Beim Beschwerdeführer sei bereits aufgrund der Kurztests eine kognitive Verlangsamung festgestellt worden. Er sei motorisch verlangsamt und in seinem Denken weitschweifig und umständlich. Hinzu komme, dass eine Medikamentenproblematik im Sinn eines verkehrsmedizinisch relevanten Missbrauchs des Stimulans Ritalin vorliege, das ohne klare Indikation von den behandelnden Ärzten seit mindestens 2011 verordnet werde. Der Beschwerdeführer nehme täglich 120 mg dieses Präparats ein, wobei er seit mindestens 2011 erfolglos versucht habe, die Behandlung abzusetzen. Die Einnahme des Stimulans sei gemäss der Stellungnahme vom 27. April 2016 eine mögliche Ursache für die kognitiven Einschränkungen. Wegen der erhöhten Gefahr, dass der Beschwerdeführer während des Lenkens eines Fahrzeugs aufgrund von eingeschränkten Leistungsreserven resp. körperlicher Schwäche, ein Fehlverhalten im Strassenverkehr zeige, könne - so das Ergebnis der Begutachtung - die Fahreignung aus verkehrsmedizinischer Sicht nicht befürwortet werden.
3.5. Nach der Rechtsprechung ist der Richter an die Auffassung des Experten gebunden, soweit Fachfragen betroffen sind und soweit nicht triftige Gründe für eine abweichende Würdigung sprechen (<ref-ruling> E. 4.4.1 S. 269 mit Hinweisen).
Vorliegend beruht das Gutachten auf umfassenden verkehrsmedizinischen Abklärungen, wobei auch auf die Vorakten (Anamnese) ausführlich eingegangen wurde. Das Vorbringen des Beschwerdeführers, dass er die medizinischen Mindestanforderungen nicht unterschreite, wurde berücksichtigt. Die Beurteilung der medizinischen Zusammenhänge und der medizinischen Situation leuchtet ein und die Schlussfolgerungen des Experten basieren auf einer schlüssigen, nachvollziehbaren und in sich geschlossenen Begründung (<ref-ruling> E. 3a S. 352; Urteil 1C_359/2008 vom 23. Februar 2009 E. 2.2, in: JdT 2009 I 517; je mit Hinweisen). Weshalb die verkehrsmedizinische Beurteilung "unhaltbar" oder eine "infame Unterstellung" sein soll, wird vom Beschwerdeführer nicht näher ausgeführt und ist nach dem Dargelegten auch nicht nachvollziehbar.
Für die Vorinstanz bestand jedenfalls keine Veranlassung, von der gutachterlichen Einschätzung, welche die Fahreignung des Beschwerdeführers klar verneinte, abzuweichen. Sie hat nach Darlegung der Rechtslage und unter Würdigung der Umstände den Entzug des Führerausweises als rechts- und verhältnismässig erachtet. Auch wenn dies der Beschwerdeführer anders beurteilt, kann deshalb von einer kritiklosen Übernahme des Gutachtens durch die Vorinstanz keine Rede sein. Dies ist nicht zu beanstanden und verletzt kein Bundesrecht. Im Übrigen hat die Vorinstanz auch zutreffend darauf hingewiesen, dass der auf unbestimmte Zeit entzogene Führerausweis bedingt und unter Auflagen wiedererteilt werden kann, wenn eine allfällige gesetzliche oder verfügte Sperrfrist abgelaufen ist und die betroffene Person die Behebung des Mangels nachweist, der die Fahreignung ausgeschlossen hat (<ref-law>).
4.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Kosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Kosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Strassenverkehrsamt des Kantons Zürich, Bereich Administrativmassnahmen, der Sicherheitsdirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, Einzelrichter, und dem Bundesamt für Strassen Sekretariat Administrativmassnahmen schriftlich mitgeteilt.
Lausanne, 10. Mai 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Misic