Sachverhalt:
A.
Am 24. Januar 2014 erhob die Staatsanwaltschaft Innerschwyz beim Einzelrichter am Bezirksgericht Schwyz Anklage gegen A._ wegen mehrfacher vorsätzlicher Verkehrsregelverletzung im Sinne von aArt. 90 Ziff. 1 SVG durch Rückwärtsfahren auf der Autobahn (a), wegen Benützung der Nationalstrasse ohne gültige Vignette (b), sowie wegen vorsätzlicher Vornahme von Verrichtungen während der Fahrt, die das sichere Bedienen des Fahrzeugs erschweren (c). In der Anklage wies die Staatsanwaltschaft auf die bevorstehende Verjährung am 14. März 2014 hin. A._ ist der Vater der Präsidentin des Bezirksgerichts Schwyz.
Am 28. Januar 2014 setzte der mit dem Fall betraute Einzelrichter Peter Linggi den Parteien Frist bis am 12. Februar 2014, um Beweisanträge zu stellen. Am 6. Februar 2014 Iud er die Parteien zur Hauptverhandlung auf den 7. März 2014 vor.
B.
Am 28. Januar 2014 ersuchte die Präsidentin des Bezirksgerichts Schwyz das Kantonsgericht, das vorliegende Strafverfahren dem Bezirksgericht Schwyz abzunehmen und einem Einzelrichter eines anderen Gerichts zu überweisen. Zur Begründung führte sie im Wesentlichen aus, dass sie selber als Einzelrichterin in den Ausstand treten müsse und dass es dem Vizegerichtspräsidenten Peter Linggi in seiner Funktion als Einzelrichter zu ersparen sei, über den Vater seiner Vorgesetzten zu richten. Zudem sei gegenüber der Öffentlichkeit der Anschein der Befangenheit zu vermeiden. Mit Beschluss vom 3. Februar 2014 wies das Präsidium des Kantonsgerichts Schwyz dieses Gesuch ab.
Mit Eingabe vom 7. Februar 2014 stellte A._ ein Ausstandsbegehren gegenüber Einzelrichter Peter Linggi. Mit Beschluss vom 20. Februar 2014 wies das Kantonsgericht das Ausstandsgesuch ab, soweit es darauf eintrat.
C.
Mit Beschwerde in Strafsachen an das Bundesgericht vom 24. März 2014 beantragt A._ die Aufhebung des Beschlusses des Kantonsgerichts vom 20. Februar 2014. Das Verfahren sei Einzelrichter Peter Linggi wegen (Anscheins der) Befangenheit rückwirkend zu entziehen und gestützt auf Art. 56 / 58 StPO einem nicht dem Bezirksgericht Schwyz angehörenden, unparteiischen, unvoreingenommenen und unbefangenen Einzelrichter eines anderen, auch in der Öffentlichkeit nicht den Anschein von Befangenheit weckenden Bezirksgerichts des Kantons Schwyz zu übertragen. Dafür sowie für die neue Entscheidung über die Kosten- und Entschädigungsfolgen im kantonalen Ausstandsverfahren sei die Sache an die Vorinstanz zurückzuweisen.
Die Vorinstanz beantragt die Beschwerdeabweisung. Die Oberstaatsanwaltschaft des Kantons Schwyz und Peter Linggi verzichten auf Vernehmlassungen. Der Beschwerdeführer hält in einer weiteren Eingabe an seinem Standpunkt und an seinen Anträgen fest.

Erwägungen:
1.
Beim angefochtenen Beschluss handelt es sich um einen selbständig eröffneten Zwischenentscheid über ein Ausstandsbegehren in einer Strafsache (Art. 78 Abs. 1 und Art. 92 Abs. 1 BGG). Das Kantonsgericht hat als letzte und einzige kantonale Instanz entschieden (<ref-law> i.V.m. <ref-law>). Der Beschwerdeführer ist gemäss Art. 81 Abs. 1 lit. a und lit. b Ziff. 1 BGG zur Beschwerde befugt. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2.
2.1. <ref-law> zählt verschiedene Gründe auf, die zum Ausstand von in einer Strafbehörde tätigen Personen führen. Diese Bestimmung konkretisiert die Verfassungsbestimmung von <ref-law> sowie Art. 6 Ziff. 1 EMRK. Danach hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirken sachfremder Umstände entschieden wird. Die Garantie des verfassungsmässigen Richters soll zu der für einen korrekten und regelkonformen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Da die Ausstandsregelung in einem Spannungsverhältnis zum Anspruch auf den gesetzlichen Richter (<ref-law>) steht, muss sie eine Ausnahme bleiben, soll die Zuständigkeitsordnung nicht ausgehöhlt werden. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen. Solche Umstände können entweder in einem bestimmten Verhalten der betreffenden Gerichtsperson oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein (<ref-ruling> E. 2.1 S. 229 mit Hinweisen).
Nach <ref-law>, dessen Auslegung im zu beurteilenden Fall in Frage steht, tritt eine in einer Strafbehörde tätige Person in den Ausstand, wenn sie aus anderen (als den in lit. a - e der gleichen Bestimmung genannten) Gründen, insbesondere wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsbeistand, befangen sein könnte. Andere Befangenheitsgründe im Sinne von <ref-law> können mithin in einem besonders gearteten Bezug zur Partei liegen, so wenn eine besondere Verpflichtung zwischen dem Strafbehördenmitglied und einer Partei oder gar eine Abhängigkeit von einer Partei besteht, die nicht direkt von Art. 56 lit. a - e StPO erfasst ist. Bei positivem Bezug zur Partei begründen die blosse politische Verbindung, ein kollegiales Verhältnis, die berufliche Beziehung, gemeinsames Studium oder Militärdienst keinen Ausstandsgrund. Keine Bedenken hinsichtlich der Unparteilichkeit erweckt im Allgemeinen auch die blosse Kollegialität unter Gerichtsmitgliedern (Markus Boog, Basler Kommentar StPO, 2011, N. 40 zu <ref-law>). Bei der Anwendung von <ref-law> ist entscheidendes Kriterium, ob bei objektiver Betrachtungsweise der Ausgang des Verfahrens noch als offen erscheint (Urteil 1B_11/2013 vom 11. März 2013 E. 2 mit Hinweis).
Wird der Ausstandsgrund aus materiellen oder prozessualen Rechtsfehlern abgeleitet, so sind diese nur wesentlich, wenn sie besonders krass sind und wiederholt auftreten, sodass sie einer schweren Amtspflichtverletzung gleichkommen und sich einseitig zu Lasten einer der Prozessparteien auswirken; andernfalls begründen sie objektiv keinen Anschein der Befangenheit (Urteil 1B_11/2013 vom 11. März 2013 E. 2; <ref-ruling> E. 3b S. 404; je mit Hinweisen).
2.2.
2.2.1. Die Vorinstanz hat erwogen, allein aufgrund der Tatsache, dass der beschuldigte Beschwerdeführer der Vater der Präsidentin des Bezirksgerichts Schwyz sei, ergebe sich für den an diesem Gericht tätigen und vorliegend zuständigen Richter Peter Linggi kein Ausstandsgrund. Ein solcher könnte nur dann bejaht werden, wenn zusätzliche Umstände hinzutreten würden, etwa eine besonders enge Beziehung von Peter Linggi selbst zum Beschwerdeführer oder allenfalls eine so enge persönliche (nicht bloss berufliche) Beziehung von Peter Linggi zur Bezirksgerichtspräsidentin, welche eine unbefangene Beurteilung des Beschwerdeführers als Vater der Bezirksgerichtspräsidentin in Frage stellen würde. Solche zusätzlichen Umstände würden durch den Beschwerdeführer jedoch nicht dargetan, ja nicht einmal behauptet. Peter Linggi stelle eine Befangenheit ausdrücklich in Abrede. Bei dieser Sachlage bestehe kein Grund, die Unbefangenheit des Einzelrichters Peter Linggi wegen persönlicher Beziehungen zum beschuldigten Beschwerdeführer oder zu dessen Tochter in Zweifel zu ziehen.
2.2.2. Die Vorinstanz hat weiter ausgeführt, soweit der Beschwerdeführer die Befangenheit von Peter Linggi darin erblicke, dass er am 6. Februar 2014 zur Hauptverhandlung auf den 7. März 2014 vorgeladen habe, bevor er über das Beweisergänzungsbegehren der Verteidigung und den Antrag auf Rückweisung der Anklage befunden habe, sei dem nicht zu folgen. Peter Linggi habe in der Verfügung vom 6. Februar 2014 ausdrücklich festgehalten, dass der Entscheid über die Abnahme allfälliger Beweisanträge der Parteien und über das Gesuch des Beschwerdeführers um Rückweisung der Anklage an die Anklagebehörde nach Ablauf der mit Verfügung vom 28. Januar 2014 auf den 12. Februar 2014 angesetzten Frist erfolge. Die Vorladung zur Hauptverhandlung sei somit offenkundig unter Vorbehalt der weiteren prozessleitenden Verfügungen ergangen. Bei einer vollumfänglichen Rückweisung der Anklage (vgl. <ref-law>) wäre selbstverständlich auch die Vorladung zur Hauptverhandlung zu widerrufen gewesen. Allfällige Beweisabnahmen könnten anlässlich der Hauptverhandlung erfolgen (vgl. <ref-law>). Das Vorgehen des Einzelrichters möge zwar vom üblichen Verfahrensablauf etwas abweichen, sei jedoch gerechtfertigt, da die angeklagten Straftaten am 14. März 2014 zu verjähren drohten. Im Übrigen begründeten blosse Verfahrensfehler nach ständiger Rechtsprechung ohnehin keine unzulässige Vorbefassung oder Befangenheit.
2.2.3. Schliesslich hat die Vorinstanz hervorgehoben, die Befürchtung des Beschwerdeführers, dass der Ausgang des Strafverfahrens nicht mehr offen sei, weil alles andere als ein Schuldspruch das Ansehen des Gerichts bedrohe, sei nicht nachvollziehbar. Es bestünden, wie erwähnt, keine konkreten Anhaltspunkte für eine Befangenheit von Peter Linggi. Zwar sei durchaus davon auszugehen, dass die Öffentlichkeit den Fall besonders kritisch mitverfolgen werde. Das müsse sich indessen nicht zwangsläufig zu Lasten des Beschwerdeführers auswirken. Vielmehr dürfe erwartet werden, dass der Einzelrichter den Prozess unbefangen leiten und unparteilich entscheiden werde, denn nur so lasse sich das Ansehen des Gerichts in der Öffentlichkeit wahren.
2.3.
2.3.1. Der Beschwerdeführer rügt vorab eine formelle Rechtsverweigerung i.S.v. <ref-law> und eine Verletzung seines Anspruchs auf rechtliches Gehör gemäss <ref-law>, da die Vorinstanz den von ihm geltend gemachten Ausstandsgrund des "Befangenheitsanscheins in der Öffentlichkeit" als verspätet qualifiziert und nicht materiell behandelt habe. Damit sei auch sein Anspruch auf ein faires Verfahren missachtet worden.
2.3.2. Diese Rügen erweisen sich als unbegründet. Die Vorinstanz hat den vorgebrachten Ausstandsgrund des "Befangenheitsanscheins in der Öffentlichkeit" nicht nur als verspätet bezeichnet, sondern auch inhaltlich beurteilt und sich dabei mit sämtlichen rechtserheblichen Argumenten des Beschwerdeführers auseinandergesetzt. Sie hat, wie ausgeführt, zusammenfassend gefolgert, die Tatsache, dass die Öffentlichkeit den Fall aufgrund der besonderen Konstellation (der Beschuldigte als Vater der dem urteilenden Richter vorgesetzten Gerichtspräsidentin) besonders kritisch mitverfolgen werde, müsse sich nicht zwangsläufig zu Lasten des Beschwerdeführers auswirken (vgl. soeben E. 2.2.3 hiervor). Diese Schlussfolgerung ist auch in der Sache nicht zu beanstanden. Entgegen der Auffassung des Beschwerdeführers entspricht es insbesondere nicht einer Erfahrungstatsache, dass die Öffentlichkeit davon überzeugt ist, dass an einem Gericht "alle Richter von der Gerichtspräsidentin abhängig sind".
2.4.
2.4.1. Der Beschwerdeführer macht weiter geltend, Peter Linggi habe am 6. Februar 2014 den Hauptverhandlungstermin auf den 7. März 2014 festgelegt, ohne vorgängig förmlich über sein Anklagerückweisungsbegehren vom 31. Januar 2014 zu entscheiden und ohne den Termin für mögliche Beweisergänzungsbegehren vom 12. Februar 2014 abzuwarten. Damit habe Peter Linggi seine für später in Aussicht gestellten Entscheidungen über die Beschuldigtenbegehren klarerweise präjudiziert. Mit den Verfügungen vom 19. Februar 2014 habe Peter Linggi denn auch sein Beweisergänzungsbegehren abgewiesen und die Anklage nur teilweise zurückgewiesen. Die Abweisung des Beweisergänzungsbegehrens habe Peter Linggi mit der drohenden Verjährung begründet, was keinen sachlichen Grund darstelle, sondern willkürlich sei. Mit der unzulässigen, bloss teilweisen Anklagerückweisung habe Peter Linggi die bereits festgesetzte Hauptverhandlung "gerettet". Verfahrensfehler bildeten Anhaltspunkte für Befangenheit, wenn sie - wie im zu beurteilenden Fall - gehäuft und konstant zu Lasten einer Partei auftreten würden.
2.4.2. Die Ausführungen im angefochtenen Beschluss überzeugen (vgl. E. 2.2.1 und insb. 2.2.2 hiervor). Das Vorgehen von Peter Linggi diente der Beschleunigung des Prozesses, um die drohende Verjährung abzuwenden, und beruhte damit auf einem sachlichen Grund. Selbst wenn ihm dabei prozessuale Fehler unterlaufen sein sollten, begründet dies für sich allein noch nicht den Anschein der Befangenheit oder Voreingenommenheit. Als Ablehnungsgründe kommen, wie dargelegt, nur besonders krasse oder ungewöhnlich häufige Versäumnisse und Mängel in Betracht. Diese Voraussetzungen sind vorliegend nicht erfüllt. Der Beschwerdeführer wirft Peter Linggi vor, mit den Verfügungen vom 19. Februar 2014 einerseits sein Beweisergänzungsbegehren zu Unrecht abgewiesen und andererseits mit der bloss teilweisen Rückweisung der Anklage <ref-law> verletzt zu haben. Dem Beschwerdeführer steht es offen, die behaupteten Verletzungen der StPO auf dem Rechtsmittelweg zu rügen. Die in Frage stehenden Verfahrensfehler sind aber jedenfalls nicht derart gravierend, dass sie einer schweren Amtspflichtverletzung gleichkommen und einen Ausstandsgrund darstellen.
3.
Die Beschwerde ist abzuweisen. Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Er hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft Innerschwyz, dem Kantonsgericht Schwyz, Beschwerdekammer, und der Oberstaatsanwaltschaft des Kantons Schwyz schriftlich mitgeteilt.
Lausanne, 13. Juni 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner