Sachverhalt:
A. Am 15. April 2010 überholte X._ auf der Erlenstrasse in Emmenbrücke innerorts im Bereich einer leichten Linksbiegung einen gerade abfahrenden Müllabfuhrlastwagen sowie ein hinter dem Lastwagen stehendes ziviles Polizeifahrzeug links. Gemäss Polizeirapport mussten der Lenker eines korrekt entgegenkommenden Personenwagens sowie der Lenker des Lastwagens eine Bremsung einleiten, damit X._ vor dem Lastwagen wieder einbiegen konnte. Eine Kollision habe nur durch das schnelle und korrekte Reagieren der beiden anderen Personen verhindert werden können.
B. Das Amtsstatthalteramt Hochdorf verurteilte X._ mit Strafverfügung vom 25. Oktober 2010 wegen vorschriftswidrigen Überholens zu einer Geldbusse von Fr. 400.--. Die Strafverfügung erwuchs unangefochten in Rechtskraft.
C. Am 8. Februar 2011 verfügte das Verkehrsamt des Kantons Schwyz gegen X._ den Entzug des Führerausweises für die Dauer von vier Monaten. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 14. April 2011 ab.
D. Gegen den Entscheid des Verwaltungsgerichts gelangt X._ mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde vom 1. Juni 2011 ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und er von Schuld und Strafe freizusprechen. Eventualiter sei der angefochtene Entscheid aufzuheben und zur ergänzenden Beweisaufnahme sowie neuen Beurteilung an die Vorinstanz zurückzuweisen.
E. Die Vorinstanz und das Bundesamt für Strassen beantragen die Abweisung der Beschwerde. Das Verkehrsamt liess sich nicht vernehmen.
Erwägungen:
1. Der Beschwerdeführer beantragt, der Entscheid des Verwaltungsgerichts vom 14. April 2011 sei aufzuheben. Er sei von Schuld und Strafe freizusprechen, eventualiter sei die Sache an die Vorinstanz zurückzuweisen. Der Beschwerdebegründung ist zu entnehmen, dass sich die Beschwerde gegen den Entzug des Führerausweises des Beschwerdeführers bzw. die Dauer des Entzugs richtet. Angefochten ist somit ein kantonal letztinstanzlicher Entscheid über einen Führerausweisentzug, nämlich über einen Warnungsentzug (vgl. Art. 16a ff. SVG). Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 ff. BGG offen. Da die Eintretensvoraussetzungen erfüllt sind, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Entscheid des Verwaltungsgerichts vorbehältlich rechtsgenügender Rügen (vgl. Art. 42 Abs. 2 i.V.m. Art. 106 Abs. 2 BGG) einzutreten. Für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde besteht damit kein Raum (Art. 113 BGG). Nicht Streitgegenstand bildet die rechtskräftige Strafverfügung vom 25. Oktober 2010. Sofern sich der Beschwerdeführer (auch) dagegen zur Wehr setzen wollte, ist auf seine Beschwerde nicht einzutreten.
2. Der Beschwerdeführer macht geltend, die Vorinstanz habe den Sachverhalt unvollständig und damit willkürlich festgestellt. Am Ergebnis der Beweisaufnahme tauchten erhebliche Zweifel auf, weshalb er nach dem Grundsatz "in dubio pro reo" freizusprechen sei. Wollte man den Zweifeln an der vorinstanzlichen Sachverhaltsfeststellung auf den Grund gehen, müsse von der Vorinstanz zumindest die den zivilen Polizeiwagen lenkende Polizistin nachträglich befragt werden.
2.1 Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Von der beschwerdeführenden Person kann die Feststellung des Sachverhalts wiederum nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
Der Warnungsentzug ist eine der Strafe zwar ähnliche, von dieser aber unabhängige Verwaltungsmassnahme mit präventivem Charakter. Trotz dieser besonderen Natur handelt es sich gemäss der Rechtsprechung um einen Entscheid über die Stichhaltigkeit einer strafrechtlichen Anklage im Sinne von Art. 6 Ziff. 1 EMRK (BGE 133 II 331 E. 4.2 mit Hinweisen). Daraus folgt, dass auf das Administrativverfahren die in Art. 6 Ziff. 2 EMRK verankerte Unschuldsvermutung anwendbar ist (Urteil 1C_413/2009 vom 22. Januar 2010 E. 3.2.1 mit Hinweisen). Als Beweiswürdigungsregel besagt die aus der Unschuldsvermutung (Art. 32 Abs. 1 BV und Art. 6 Ziff. 2 EMRK) abgeleitete Maxime "in dubio pro reo", dass sich der Strafrichter nicht von der Existenz eines für den Angeklagten ungünstigen Sachverhalts überzeugt erklären darf, wenn bei objektiver Betrachtung erhebliche und nicht zu unterdrückende Zweifel bestehen, ob sich der Sachverhalt so verwirklicht hat. Inwiefern das Sachgericht die Maxime "in dubio pro reo" als Beweiswürdigungsregel verletzt hat, prüft das Bundesgericht nur unter dem Gesichtspunkt der Willkür (BGE 127 I 38 E. 2a S. 41).
Wird die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) gerügt, gelten qualifizierte Anforderungen an die Begründung. Eine solche Rüge prüft das Bundesgericht nicht von Amtes wegen, sondern nur, wenn sie in der Beschwerde vorgebracht und substanziiert begründet worden ist. Das bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (Art. 106 Abs. 2 BGG; BGE 136 I 65 E. 1.3.1 S. 68 mit Hinweisen).
2.2 Die Vorinstanz stellte in tatsächlicher Hinsicht fest, der Beschwerdeführer habe auf einer übersichtlichen Strasse innerorts im Bereich einer leichten Linksbiegung einen gerade abfahrenden Müllabfuhrlastwagen sowie ein stehendes ziviles Polizeifahrzeug links überholt, dabei einen korrekt entgegenkommenden Personenwagen übersehen und dadurch beinahe eine Frontalkollision verursacht. Aufgrund der Aussagen des Chauffeurs des Müllabfuhrlastwagens sowie des Beifahrers des zivilen Polizeiwagens sei erstellt, dass durch das Bremsen des Müllabfuhrlastwagens und wahrscheinlich auch des entgegenkommenden Personenwagens eine Frontalkollision zwischen dem vom Beschwerdeführer gelenkten und dem entgegenkommenden Fahrzeug gerade noch habe verhindert werden können. Diese beiden Zeugen hätten nämlich übereinstimmend ausgesagt, dass nur durch die eingeleitete Bremsung eine Kollision habe verhindert werden können. Die vom Beschwerdeführer anlässlich einer Zeugeneinvernahme getätigte Aussage, wonach er die Lichthupe des entgegenkommenden Fahrzeugs als dem zivilen Polizeiwagen geltend verstanden habe, damit dieses nicht überhole, sei als Schutzbehauptung zu werten. Unmittelbar nach dem Vorfall habe der Beschwerdeführer zu Protokoll gegeben, dass er auf der Gegenfahrbahn bemerkt habe, dass es knapp werden könne, es aber gerade noch gereicht habe.
Der Beschwerdeführer macht geltend, der Chauffeur des Müllabfuhrlastwagens habe beim Anfahren nicht in den Rückspiegel geschaut und das vorgeschriebene Blinken unterlassen. Den ihm auf der Gegenfahrbahn entgegenkommenden Personenwagen habe er ohne ersichtliches Risiko gekreuzt. Der Lenker des entgegenkommenden Fahrzeugs habe keine äussere Reaktion gezeigt und nicht angehalten. Die ihm gemachten Vorwürfe seien gesucht und stützten sich einzig auf die Behauptung der beiden Polizisten ab, die offenbar mehr gesehen haben wollten, als tatsächlich geschehen sei.
2.3 Was der Beschwerdeführer gegen die vorinstanzliche Sachverhaltsfeststellung und Beweiswürdigung vorbringt, ist nicht geeignet, die Verletzung verfassungsmässiger Rechte darzulegen. Er stellt mit seinen Ausführungen den vorinstanzlichen Erwägungen seine eigene Sicht der Dinge gegenüber, ohne in Art. 106 Abs. 2 BGG genügender Weise darzulegen, inwieweit die Vorinstanz den Sachverhalt offensichtlich unrichtig bzw. willkürlich festgestellt haben soll. Die Behauptung des Beschwerdeführers, der Chauffeur des Müllabfuhrlastwagens habe beim Anfahren nicht in den Rückspiegel geschaut und das vorgeschriebene Blinken unterlassen, widerspricht den Aussagen des Chauffeurs, wobei diese Fragen für den Ausgang des Verfahrens ohnehin nicht entscheidend sind (vgl. E. 3.2). Im Gegensatz zur Ansicht des Beschwerdeführers erweist sich die vorinstanzliche Sachverhaltsfeststellung auch nicht deshalb als willkürlich, weil die Polizeibeamtin, die den in den Akten liegenden Polizeirapport verfasst hat, nicht mehr befragt worden ist, zumal der im Polizeirapport geschilderte Sachverhalt im Wesentlichen mit den Aussagen des Chauffeurs des Müllabfuhrwagens sowie des Beifahrers des zivilen Polizeiwagens übereinstimmt. Bei objektiver Würdigung des gesamten Beweisergebnisses bleiben keine offensichtlich erhebliche und schlechterdings nicht zu unterdrückende Zweifel, dass sich der Sachverhalt gemäss vorinstanzlicher Feststellung ereignet hat. Gestützt auf den willkürfrei festgestellten Sachverhalt liegt keine Verletzung des Grundsatzes "in dubio pro reo" vor.
3. Der Beschwerdeführer bringt weiter vor, er habe mit dem Überholmanöver niemanden konkret gefährdet und es habe auch keine erhöhte abstrakte Gefährdung bestanden. Sinngemäss macht er geltend, er habe keine Widerhandlung im Sinne von Art. 16a-c SVG, höchstens aber eine leichte Wiederhandlung gemäss Art. 16a SVG begangen.
3.1 Gemäss Art. 16 Abs. 2 SVG wird nach Widerhandlungen gegen die Strassenverkehrsvorschriften, bei denen das Verfahren nach dem Ordnungsbussengesetz vom 24. Juni 1970 ausgeschlossen ist, der Lernfahr- oder Führerausweis entzogen oder eine Verwarnung ausgesprochen. Das Skollisiontrassenverkehrsgesetz unterscheidet zwischen der leichten, mittelschweren und schweren Widerhandlung (Art. 16a-c SVG). Eine mittelschwere Widerhandlung begeht, wer durch die Verletzung von Verkehrsregeln eine Gefahr für die Sicherheit anderer hervorruft oder in Kauf nimmt (Art. 16b Abs. 1 lit. a SVG). Die mittelschwere Widerhandlung stellt einen Auffangtatbestand dar. Sie liegt vor, wenn nicht alle privilegierenden Elemente einer leichten Widerhandlung und nicht alle qualifizierenden Elemente einer schweren Widerhandlung gegeben sind.
Eine schwere Widerhandlung begeht, wer durch grobe Verletzung von Verkehrsregeln eine ernstliche Gefahr für die Sicherheit anderer hervorruft oder in Kauf nimmt (Art. 16c Abs. 1 lit. a SVG). Eine ernstliche Gefahr für die Sicherheit anderer ist nicht erst bei einer konkreten, sondern bereits bei einer erhöhten abstrakten Gefährdung gegeben. Ob eine konkrete, eine erhöhte abstrakte oder nur eine abstrakte Gefahr geschaffen wird, hängt von der Situation ab, in welcher die Verkehrsregelverletzung begangen wird. Wesentliches Kriterium für die Annahme einer erhöhten abstrakten Gefahr ist die Nähe der Verwirklichung (BGE 131 IV 133 E. 3.2 S. 136 mit Hinweisen).
Die Annahme einer leichten Widerhandlung gemäss Art. 16a Abs. 1 lit. a SVG setzt voraus, dass der Lenker durch die Verletzung von Verkehrsregeln eine geringe Gefahr für die Sicherheit anderer hervorruft und ihn dabei nur ein leichtes Verschulden trifft, wobei die Voraussetzungen der geringen Gefahr und des leichten Verschuldens kumulativ erfüllt sein müssen, damit nur eine leichte Widerhandlung vorliegt (BGE 135 II 138 E. 2.2.2 f. S. 141 f.).
3.2 Überholen und Vorbeifahren an Hindernissen ist nur gestattet, wenn der nötige Raum übersichtlich und frei ist und der Gegenverkehr nicht behindert wird (Art. 35 Abs. 2 Satz 1 SVG). Wer überholt, muss auf die übrigen Strassenbenützer, namentlich auf jene, die er überholen will, besonders Rücksicht nehmen (Art. 35 Abs. 3 SVG). Der Beschwerdeführer hat diese Verkehrsregeln verletzt, indem er gemäss willkürfreier und für das Bundesgericht verbindlicher Feststellung der Vorinstanz (vgl. E. 2.1 ff.) einen gerade abfahrenden Müllabfuhrlastwagen sowie ein stehendes Fahrzeug links überholte, dabei einen entgegenkommenden Personenwagen übersah und dadurch beinahe eine Frontalkollision verursachte, wobei durch das Bremsen des Müllabfuhrlastwagens eine Frontalkollision zwischen dem vom Beschwerdeführer gelenkten und dem entgegenkommenden Fahrzeug gerade noch verhindert werden konnte. Unerheblich ist, ob auch der entgegenkommende Personenwagen abbremsen musste. Eine Verkehrsregelverletzung des Beschwerdeführers läge sodann auch vor, wenn der Chauffeur des Müllabfuhrlastwagens beim Anfahren tatsächlich nicht in den Rückspiegel geschaut und das Blinken unterlassen hätte.
3.3 Mit dem Überholmanöver hat der Beschwerdeführer den Lenker des entgegenkommenden Fahrzeugs wohl konkret an Leib und Leben gefährdet. Jedenfalls hatte die Verkehrsregelverletzung aber eine erhöhte abstrakte Gefährdung zur Folge, weil sie mit erhöhter Wahrscheinlichkeit zu einer Kollision zwischen dem vom Beschwerdeführer gelenkten und dem entgegenkommenden Personenwagen hätte führen können. Die Vorinstanz hat kein Bundesrecht verletzt, wenn sie zum Schluss gekommen ist, der Beschwerdeführer habe durch die Verkehrsregelverletzung eine erhebliche Gefahr für die Sicherheit anderer hervorgerufen, die nicht mehr als gering bezeichnet werden könne. Der Beschwerdeführer hat somit (zumindest) eine mittelschwere Widerhandlung im Sinne von Art. 16b Abs. 1 lit. a SVG begangen, wobei offen bleiben kann, ob ihn am Hervorrufen der Gefahr für die Sicherheit anderer nur ein leichtes oder ein schweres Verschulden trifft.
3.4 Dass das Amtsstatthalteramt sich beim Erlass der Strafverfügung auf Art. 90 Ziff. 1 SVG stützte und den Beschwerdeführer (nur) zu einer Busse von Fr. 400.-- verurteilte, schliesst die Annahme einer mittelschweren Widerhandlung im Administrativverfahren nicht aus, zumal die einfache Verkehrsregelverletzung nach Art. 90 Ziff. 1 SVG die leichte und mittelschwere Widerhandlung gemäss Art. 16a und 16b SVG umfasst und die Verwaltungsbehörde an die rechtliche Würdigung des Strafrichters ohnehin nur dann gebunden ist, wenn diese sehr stark von der Würdigung von Tatsachen abhängt, die der Strafrichter besser kennt (vgl. BGE 135 II 138 E. 2.4 S. 143 f. mit Hinweisen), was hier nicht der Fall ist.
4. Nach einer mittelschweren Widerhandlung im Sinne von Art. 16b Abs. 1 lit. a SVG wird der Lernfahr- oder Führerausweis für mindestens vier Monate entzogen, wenn in den vorangegangenen zwei Jahren der Ausweis einmal wegen einer schweren oder mittelschweren Widerhandlung entzogen war (Art. 16b Abs. 2 lit. b SVG). Nachdem dem Beschwerdeführer der Führerausweis in den vorangegangenen zwei Jahren unbestrittenerweise einmal wegen einer mittelschweren Widerhandlung entzogen worden war, hatte das Verkehrsamt ihm den Führerausweis nach dem Vorfall vom 15. April 2010 für mindestens vier Monate zu entziehen, wobei die Mindestentzugsdauer nicht unterschritten werden durfte (vgl. Art. 16 Abs. 3 SVG).
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (vgl. Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Verkehrsamt des Kantons Schwyz, Abteilung Massnahmen, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Bundesamt für Strassen schriftlich mitgeteilt.
Lausanne, 27. September 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Mattle