Sachverhalt:
A. Mit Verfügung vom 4. August 2010 entzog das Strassenverkehrsamt des Kantons Zug X._ den Führerausweis für zwei Monate und ordnete an, er habe einen Tag Verkehrsunterricht zu besuchen. Zur Begründung wurde angeführt, X._ habe am 17. März 2010 um 15.23 Uhr auf der Hohlstrasse in Zürich die zulässige Höchstgeschwindigkeit von 50 km/h um 20 km/h überschritten (nach Abzug der Marge für die Messunsicherheit). Es handle sich dabei um eine leichte Widerhandlung gegen die Verkehrsvorschriften gemäss <ref-law>. Da bereits am 9. September 2008 nach einer schweren Widerhandlung ein Führerausweisentzug verfügt worden sei und angesichts des sehr getrübten automobilistischen Leumunds sei die Massnahme angemessen.
Gegen diese Verfügung erhob X._ Verwaltungsgerichtsbeschwerde. Mit Urteil vom 25. Januar 2011 wies das Verwaltungsgericht des Kantons Zug das Rechtsmittel ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 2. März 2010 beantragt X._ im Wesentlichen, die Verfügung des Strassenverkehrsamts sei aufzuheben. Zudem verlangt er, es sei eine angemessene Frist anzusetzen, innert welcher eine Administrativmassnahme zu verfügen sei. Weiter sei zu prüfen, "ob die Wiederholungs-/Rückfallfrist bei nach nicht in angemessener Frist ausgestellten Verfügungen entsprechend einer Ausstellung in einer angemessener Frist angepasst werden sollte". Zu prüfen sei schliesslich, ob die Wiederholungs-/Rückfallfrist nicht an den Massnahmevollzug, sondern an die Widerhandlung zu knüpfen sei.
Das Strassenverkehrsamt und das Verwaltungsgericht des Kantons Zug sowie das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Strassen beantragen die Abweisung der Beschwerde.

Erwägungen:
1. Angefochten ist ein Entscheid über einen Führerausweisentzug. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> offen; eine Ausnahme nach <ref-law> liegt nicht vor. Die Beschwerde, nach Treu und Glauben ausgelegt, richtet sich gegen den Entscheid des Verwaltungsgerichts, welcher die Verfügung des Strassenverkehrsamts ersetzt hat (vgl. <ref-law>; <ref-ruling> E. 1.4 S. 144; <ref-ruling> E. 1 S. 336 ff.; je mit Hinweisen). Auf die Beschwerde ist einzutreten.
2. 2.1 Der Beschwerdeführer rügt, die Verfügung vom 9. September 2008, welche im aktuellen Verfahren bewirke, dass <ref-law> zur Anwendung komme, sei zu spät ergangen. Es könne nicht sein, dass eine Verfügung erst drei Jahre und drei Monate nach der Widerhandlung bzw. zwei Jahre und sieben Monate nach dem rechtskräftigen Strafbefehl erlassen werde. Die in <ref-law> vorgesehene Regelung, gemäss welcher nach einer leichten Widerhandlung der Lernfahr- oder Führerausweis für mindestens einen Monat entzogen wird, wenn in den vorangegangenen zwei Jahren der Ausweis entzogen war oder eine andere Administrativmassnahme verfügt wurde, müsse eigentlich an die Widerhandlung anknüpfen. Die frühere Widerhandlung sei am 13. Juni 2005 erfolgt. Er sei also während vier Jahren und acht Monaten korrekt gefahren. Vor diesem Hintergrund könne lediglich eine Verwarnung ausgesprochen werden.
2.2 Die Vorinstanz legte dar, die zu beurteilende fehlbare Handlung sei am 17. März 2010 erfolgt. Zuvor sei dem Beschwerdeführer der Führerausweis nach einer schweren Widerhandlung gegen die Verkehrsvorschriften letztmals am 9. September 2008 entzogen worden. Dieser Entzug sei infolge eines beantragten Vollzugsaufschubs vom 22. Mai 2009 bis zum 21. August 2009 vollzogen worden. Nach der in <ref-law> vorgesehenen Zweijahresfrist habe nun zwingend ein Führerausweisentzug zu erfolgen.
In Bezug auf die Verfügung vom 9. September 2008 stimmt die Vorinstanz der Kritik des Beschwerdeführers zu. Tatsächlich sei in jenem Verfahren sein Anspruch auf Beurteilung innert angemessener Frist verletzt worden. Diesen Mangel hätte er jedoch damals geltend machen müssen. Da er dies nicht getan habe, sei jene Verfügung in Rechtskraft erwachsen. Anzumerken bleibe, dass im aktuellen Fall die Verfahrensdauer kurz gewesen sei und der Beschwerdeführer sich aufgrund seiner diversen Verstösse gegen das Strassenverkehrsrecht über die Konsequenzen einer erneuten Widerhandlung habe im Klaren sein müssen. In den letzten gut 20 Jahren seien insgesamt zehn Administrativmassnahmen gegen ihn erlassen worden. Er müsse deshalb als notorischer Verkehrssünder bezeichnet werden, weshalb eine Entzugsdauer von zwei Monaten angemessen sei.
2.3 Die Verfügung vom 9. September 2008 ist rechtskräftig und bildet nicht direkt Gegenstand der vorliegenden Beschwerde. Die vom Beschwerdeführer aufgeworfene Frage betrifft vielmehr die in <ref-law> statuierte Frist von zwei Jahren. Nach dem klaren Wortlaut der Bestimmung ist massgebend, ob "in den vorangegangenen zwei Jahren der Ausweis entzogen war". Abzustellen ist demnach auf den Vollzug des Führerausweisentzugs. Der Wortlaut entspricht auch dem Sinn der Bestimmung, denn es ist der Führerausweisentzug - und selbstverständlich nicht die Widerhandlung - von welchem eine Warnwirkung ausgehen soll. Entfaltet der Führerausweisentzug, in diesem Zusammenhang auch Warnungsentzug genannt, seine Wirkung insoweit unzureichend, als innert zwei Jahren nach dessen Vollzug der Fehlbare erneut eine Widerhandlung begeht, so führt dies nach <ref-law> automatisch zu einer Verschärfung der Sanktion. Die Auslegung von <ref-law> durch das Verwaltungsgericht ist nicht zu beanstanden (vgl. auch etwa die Urteile 1C_180/2010 vom 22. September 2010 E. 2, 1C_275/2007 vom 16. Mai 2008 E. 4.3.3 und 6A.114/2006 vom 27. Januar 2007 E. 3.2, wo das Bundesgericht ebenfalls auf den Vollzug des Führerausweisentzugs abgestellt hat). Die Rüge des Beschwerdeführers ist unbegründet.
3. Die Beschwerde ist nach dem Gesagten abzuweisen. Bei diesem Ausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Er hat keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Strassenverkehrsamt und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, sowie dem Bundesamt für Strassen schriftlich mitgeteilt.
Lausanne, 7. Juni 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Dold