Sachverhalt:
A.
Nach zwei Hirnschlägen im Mai 2003 und im Februar 2007 erlitt A._ am 18. Mai 2015 einen dritten Schlaganfall. Am 15. Januar 2016 meldete die IV-Stelle Schwyz dem Verkehrsamt Schwyz, dass aufgrund der residuellen motorischen und kognitiven Defizite Zweifel an der Fahreignung von A._ bestünden. Das Verkehrsamt ordnete am 20. Januar 2016 einen vorsorglichen Sicherungsentzug des Führerausweises an; dessen Wiederaushändigung wurde vom Ergebnis einer verkehrsmedizinischen Untersuchung abhängig gemacht.
Nachdem A._ den Führerausweis nicht deponierte, beauftragte das Verkehrsamt die Kantonspolizei den Führerausweis einzuziehen. Gemäss Polizeibericht vom 13. Februar 2016 gab A._ an, der Ausweis sei nicht mehr vorhanden, weil er versehentlich mit der Schmutzwäsche gewaschen und dann im Abfall entsorgt worden sei.
Am 17. Februar 2016 erliess das Verkehrsamt eine Vollstreckungsverfügung, in welcher es festhielt, dass der vorsorgliche Sicherungsentzug ab dem Erhalt der Verfügung vollzogen werde und A._ das Führen von Motorfahrzeugen aller Kategorien untersagt sei.
B.
Am 27. März 2019 ging beim Verwaltungsgericht Schwyz eine per 1. März 2019 datierte und am 26. März 2019 der Post übergebene "Beschwerde gegen Verkehrsamt wegen Aberkennung Fahrausweis 2016" ein. Mit Entscheid vom 27. Mai 2019 wies das Verwaltungsgericht die Beschwerde ab, soweit darauf einzutreten sei.
C.
Am 2. August 2019 hat A._ dem Bundesgericht eine E-Mail mit dem Betreff "Revision Verwaltungsgerichtsentscheid" geschickt. Er stellt darin den Antrag, der Entscheid des Verwaltungsgerichts Schwyz sei zu widerrufen und dieses sei anzuhalten, auf seine Beschwerde einzutreten.
Mit Schreiben vom 5. August 2019 wies das Bundesgericht den Beschwerdeführer darauf hin, dass auf einer Rechtsschrift eine Originalunterschrift erforderlich sei. Daraufhin stellte der Beschwerdeführer die ausgedruckte und unterschriebene E-Mail dem Bundesgericht am 8. August 2019 per Post zu.
D.
Das Verwaltungsgericht des Kantons Schwyz schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Das Verkehrsamt Schwyz hat dem Bundesgericht die Akten übermittelt, ohne einen Antrag zu stellen.
E.
Am 27. September 2019 stellte der Beschwerdeführer dem Bundesgericht eine Stellungnahme seines Hausarztes betreffend Fahrtauglichkeit zu.

Erwägungen:
1.
1.1. Gegen den angefochtenen Entscheid ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegeben (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 BGG), und ein Ausschlussgrund nach <ref-law> besteht nicht. Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde befugt. Die erforderliche Unterschrift (<ref-law>) hat er innert der vom Präsidenten der I. öffentlich-rechtlichen Abteilung angesetzten Frist (<ref-law>) nachgereicht.
Die Beschwerde gegen einen Entscheid ist innert 30 Tagen nach der Eröffnung der vollständigen Ausfertigung beim Bundesgericht einzureichen (<ref-law>). Der am 14. Juni 2019 versandte vorinstanzliche Entscheid ist dem Beschwerdeführer frühestens am 15. Juni 2019 zugegangen, so dass die Eingabe vom 2. August 2019 angesichts des Fristenstillstands nach <ref-law> rechtzeitig eingereicht worden ist.
1.2. Das Verwaltungsgericht Schwyz wies die gegen die Verfügung vom 20. Januar 2016 gerichtete Beschwerde ab, soweit darauf einzutreten sei. In seinen Erwägungen hielt es fest, der Beschwerdeführer habe die Beschwerde nicht fristgerecht erhoben (angefochtenes Urteil, E. 2.1 ff. S. 4 f.), weshalb auf die Beschwerde schon nicht einzutreten sei. Zusätzlich führte das Verwaltungsgericht aber auch aus, weshalb die Beschwerde in der Sache unbegründet sei (angefochtenes Urteil, E. 2.3.2 f. S. 5 f.). Es sei dem Beschwerdeführer aufgezeigt worden, welches Prozedere er zu befolgen habe, um den Führerausweis wiederzuerlangen, und die IV-Stelle sei berechtigt gewesen, dem Verkehrsamt Zweifel hinsichtlich seiner Fahreignung zu melden.
In dieser Konstellation beurteilt das Bundesgericht nicht nur die Eintretensfrage, sondern auch die materielle Rechtslage. Da der angefochtene Entscheid auf zwei selbständigen Begründungen beruht, ist er nur aufzuheben, wenn beide Begründungen unzutreffend sind. Deshalb muss sich die Beschwerdebegründung sowohl mit der formellrechtlichen als auch mit der materiellrechtlichen Seite auseinandersetzen (<ref-ruling> E. 4.1.4 S. 100; Urteil 5A_562/2016 vom 15. Dezember 2016 E. 1.2); ansonsten kann das Bundesgericht auf die Beschwerde mangels hinreichender Begründung nicht eintreten (<ref-law>).
Dies ist vorliegend nicht der Fall. Der Beschwerdeführer macht einzig geltend, das Verwaltungsgericht sei zu Unrecht nicht auf seine Beschwerde eingetreten. Er befasst sich jedoch nicht mit den materiellrechtlichen Fragen, die das Bundesgericht zu behandeln hätte, wenn sich das Nichteintreten des Verwaltungsgerichts als rechtswidrig herausstellen würde. Ohne begründeten Antrag betreffend die materiellrechtlichen Fragen kann das Bundesgericht seine Beschwerde also in keinem Fall gutheissen.
Aus diesem Grund genügt die vorliegende Beschwerde den Begründungsanforderungen von <ref-law> nicht. Auf die Beschwerde ist somit nicht einzutreten.
2.
Im Übrigen könnte die Beschwerde auch nicht gutgeheissen werden, wenn auf sie einzutreten wäre.
Das Verwaltungsgericht hielt in seinem Urteil fest, dass der Beschwerdeführer gegen die zwei Verfügungen nicht innert der Rechtsmittelfrist Beschwerde erhoben habe. Dagegen macht der Beschwerdeführer geltend, er habe die Verfügung vom 20. Januar 2016 nicht erhalten, da diese an eine falsche Adresse zugestellt worden sei (U._ 5 statt U._ 3). Zudem sei er im Januar 2016 im Altersheim V._ in W._ wohnhaft gewesen.
Auszugehen ist davon, dass ein Urteil oder eine Verfügung erst mit der Mitteilung an die Parteien rechtliche Existenz erlangt. Vor seiner Mitteilung ist es ein Nichturteil, was von Amtes wegen zu berücksichtigen ist. Dementsprechend vermögen auch Verfügungen, welche den Parteien nie mitgeteilt worden sind, keinerlei Rechtswirksamkeit zu entfalten (<ref-ruling> E. 4.2). Aus Gründen der Rechtssicherheit und nach dem Gebot des Handelns nach Treu und Glauben, das in gleicher Weise für Behörden und Private im Rechtsverkehr gilt (<ref-law>; <ref-ruling> E. 7.1 S. 403), hat die betreffende Person, sobald sie von der Existenz der Verfügung Kenntnis erhalten hat, jedoch darum besorgt zu sein, innert nützlicher Frist Inhalt und Begründung zu erfahren, um sich über die Ergreifung eines Rechtsmittels zu entschliessen (<ref-ruling> E. 3a/aa S. 99; Urteile 2C_160/2019 vom 5. November 2019 E. 4.1; 9C_702/2014 vom 1. Dezember 2014 E. 4.2.1 mit Hinweisen).
Ob der Beschwerdeführer die Verfügung vom 20. Januar 2016 aufgrund der falschen Adresse auf dem Briefkopf tatsächlich nicht erhalten hat, muss nicht abschliessend beurteilt werden; entgegen der Ansicht des Beschwerdeführers ist dies nicht entscheidend für den Verfahrensausgang. Denn auch wenn diese Verfügung nicht oder mangelhaft eröffnet worden wäre, hatte er spätestens dann vom vorsorglichen Führerausweisentzug Kenntnis, als ihn zwei Polizisten im Auftrag des Verkehrsamts aufgesucht haben und bei ihm den Führerausweis einziehen wollten. Dies bestreitet der Beschwerdeführer nicht; vielmehr hat er diesen Umstand in seiner Beschwerdeschrift ans Verwaltungsgericht Schwyz ausdrücklich anerkannt. Nach Treu und Glauben hätte der Beschwerdeführer spätestens nach dem Besuch der Polizisten besorgt sein müssen, Inhalt und Begründung des vorsorglichen Führerausweisentzugs zu erfahren, um dagegen Beschwerde zu erheben. Dies tat er jedoch nicht, sondern wartete drei Jahre, bevor er beim Verwaltungsgericht Beschwerde gegen den vorsorglichen Führerausweisentzug erhob. Es verstösst offensichtlich gegen Treu und Glauben, wenn jem and von der Existenz einer Verfügung Kenntnis erhalten hat, sich aber während mehrerer Jahren nicht darum besorgt, deren Inhalt und Begründung zu erfahren (<ref-ruling> E. 41 S. 77; Urteil 2C_1021/2018 vom 26. Juli 2019 E. 4.2). Seine Beschwerde war somit verspätet und das Verwaltungsgericht ist zu Recht nicht darauf eingetreten.
3.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Parteientschädigungen sind nicht zu sprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Verkehrsamt des Kantons Schwyz und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 30. Dezember 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Hänni