Sachverhalt: A. A.a. In einem ärztlichen Bericht vom 21. März 2018 an das Strassenverkehrsamt des Kantons Zürich äusserte med. prakt. B._ Bedenken bezüglich möglicher kognitiver Beeinträchtigungen von A._ (geb. 1945) aufgrund eines bei diesem diagnostizierten Parkinson-Syndroms. Gestützt auf diese Meldung forderte das Strassenverkehrsamt A._ mit Verfügung vom 3. August 2018 auf, bis zum 30. Juni 2019 einen medizinischen Verlaufsbericht einzusenden. Dieser unterzog sich daraufhin einer ärztlichen Untersuchung bei Dr. med. C._. Mit ärztlichem Zeugnis vom 16. Juli 2019 bestätigte dieser die Diagnose des Parkinson-Syndroms, welches unter regelmässiger Medikamenteneinnahme und im Verlauf leichter Anpassungen (Erhöhung) der Medikamentendosis stabil und gut eingestellt sei. Eine Abklärung am Institut für Rechtsmedizin der Universität Zürich (IRM) sei daher nicht angezeigt. A.b. In der Folge liess das Strassenverkehrsamt die beiden Arztzeugnisse durch das IRM begutachten. Dieses kam zum Schluss, dass die Zeugnisse keine Aussagen zur kognitiven Leistungsfähigkeit von A._ enthalten, weshalb eine verkehrsmedizinische Begutachtung durch einen Arzt der Anerkennungsstufe 4 zu erfolgen habe. Der Bericht des IRM veranlasste das Strassverkehrsamt dazu, A._ mit Schreiben vom 29. August 2019 aufzufordern, sich bis am 29. Oktober 2019 durch einen Arzt der Anerkennungsstufe 4 begutachten zu lassen. Am 18. November 2019 liess sich A._ von Dr. med. D._ untersuchen. Mit Gutachten vom 20. November 2019 hielt diese fest, dass A._ infolge seiner Parkinsonerkrankung die kognitiven Mindestanforderungen zum sicheren Führen eines Motorfahrzeugs nicht mehr erreiche. Aus verkehrsmedizinischer Sicht fehle ihm daher die Eignung, am Strassenverkehr gefahrlos teilzunehmen. A.c. Gestüzt auf das verkehrsmedizinische Gutachten von Dr. med. D._ entzog das Strassenverkehrsamt A._ mit Verfügung vom 19. Dezember 2019 den Führerausweis in Bezug auf alle Kategorien auf unbestimmte Zeit. B. Einen von A._ gegen die Verfügung des Strassenverkehrsamts erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich mit Entscheid vom 23. März 2020 ab. Die von A._ hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 7. Juli 2020 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 21. August 2020 beantragt A._, das Urteil des Verwaltungsgerichts sei aufzuheben und ihm sei der Führerausweis wieder zu erteilen, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Vorinstanzen sowie das Bundesamt für Strassen (ASTRA) beantragen die Abweisung der Beschwerde. Der Beschwerdeführer hält replikweise an seinen Beschwerdeanträgen fest.