Sachverhalt: A. Die Staatsanwaltschaft des Kantons Zug führt Strafuntersuchungen gegen X._. Ein Ausstandsgesuch von X._ gegen den untersuchenden Staatsanwalt Christoph Mathys wies der stellvertretende Oberstaatsanwalt mit Verfügung vom 7. Juni 2010 ab. Eine von X._ dagegen erhobene Beschwerde wies das Bundesgericht am 11. Januar 2011 ab, soweit es darauf eintrat (Beschwerdeverfahren 1B_224/2010). B. Am 31. Dezember 2010 beantragte X._ bei der Justizkommission des Obergerichts des Kantons Zug den Ausstand der Staatsanwaltschaft des Kantons Zug in den gegen ihn geführten Strafuntersuchungen. Alle hängigen Verfahren, in welchen ihm Parteistellung zukomme, seien auf die Staatsanwaltschaft eines anderen Kantons zu übertragen und alle bisherigen Amtshandlungen der Staatsanwaltschaft Zug seien aufzuheben. Mit Präsidialverfügung vom 20. Januar 2011 trat die I. Beschwerdeabteilung des Obergerichts des Kantons Zugs auf das Ausstandsgesuch nicht ein, weil das Begehren offensichtlich unzulässig bzw. offensichtlich nicht hinreichend begründet sei. C. Gegen diese Verfügung gelangt X._ mit Beschwerde in Strafsachen vom 23. Februar 2011 ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Staatsanwaltschaft des Kantons Zug in allen Verfahren zum Ausstand zu verpflichten, an welchen er als Partei beteiligt sei. Eventuell seien die Staatsanwälte Christoph Mathys und Ruedi Unterrassner in allen Verfahren zum Ausstand zu verpflichten, an welchen er als Partei beteiligt sei. Alle bisherigen Amtshandlungen der Staatsanwaltschaft Zug seien aufzuheben. D. Die Vorinstanz verzichtet auf eine Vernehmlassung und teilt mit, dass am 24. Februar 2011 ein weiteres Ausstandsbegehren des Beschwerdeführers eingegangen sei und zwar gegen die Staatsanwälte Christoph Mathys und Ruedi Unterrassner. Die Staatsanwaltschaft verzichtet auf eine Vernehmlassung. E. Mit Schreiben vom 15. März 2011 hat der Beschwerdeführer zwei Dokumente eingereicht, welche illustrieren würden, dass die Staatsanwaltschaft insgesamt befangen sei. Es handelt sich dabei um eine Nichtanhandnahmeverfügung vom 3. März 2011, mit welcher die Staatsanwaltschaft entschied, keine Strafuntersuchung gegen Staatsanwalt Christoph Mathys wegen Amtsgeheimnisverletzung an Hand zu nehmen, sowie eine Vernehmlassung von Staatsanwalt Christoph Mathys vom 4. März 2011 an das Obergericht im vom Beschwerdeführer initiierten Ausstandsverfahren gegen die Staatsanwälte Christoph Mathys und Ruedi Unterrassner.