Sachverhalt:
A. Die Staatsanwaltschaft des Kantons Zug führt Strafuntersuchungen gegen X._. Ein Ausstandsgesuch von X._ gegen den untersuchenden Staatsanwalt Christoph Mathys wies der stellvertretende Oberstaatsanwalt mit Verfügung vom 7. Juni 2010 ab. Eine von X._ dagegen erhobene Beschwerde wies das Bundesgericht am 11. Januar 2011 ab, soweit es darauf eintrat (Beschwerdeverfahren 1B_224/2010).
B. Am 31. Dezember 2010 beantragte X._ bei der Justizkommission des Obergerichts des Kantons Zug den Ausstand der Staatsanwaltschaft des Kantons Zug in den gegen ihn geführten Strafuntersuchungen. Alle hängigen Verfahren, in welchen ihm Parteistellung zukomme, seien auf die Staatsanwaltschaft eines anderen Kantons zu übertragen und alle bisherigen Amtshandlungen der Staatsanwaltschaft Zug seien aufzuheben. Mit Präsidialverfügung vom 20. Januar 2011 trat die I. Beschwerdeabteilung des Obergerichts des Kantons Zugs auf das Ausstandsgesuch nicht ein, weil das Begehren offensichtlich unzulässig bzw. offensichtlich nicht hinreichend begründet sei.
C. Gegen diese Verfügung gelangt X._ mit Beschwerde in Strafsachen vom 23. Februar 2011 ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Staatsanwaltschaft des Kantons Zug in allen Verfahren zum Ausstand zu verpflichten, an welchen er als Partei beteiligt sei. Eventuell seien die Staatsanwälte Christoph Mathys und Ruedi Unterrassner in allen Verfahren zum Ausstand zu verpflichten, an welchen er als Partei beteiligt sei. Alle bisherigen Amtshandlungen der Staatsanwaltschaft Zug seien aufzuheben.
D. Die Vorinstanz verzichtet auf eine Vernehmlassung und teilt mit, dass am 24. Februar 2011 ein weiteres Ausstandsbegehren des Beschwerdeführers eingegangen sei und zwar gegen die Staatsanwälte Christoph Mathys und Ruedi Unterrassner. Die Staatsanwaltschaft verzichtet auf eine Vernehmlassung.
E. Mit Schreiben vom 15. März 2011 hat der Beschwerdeführer zwei Dokumente eingereicht, welche illustrieren würden, dass die Staatsanwaltschaft insgesamt befangen sei. Es handelt sich dabei um eine Nichtanhandnahmeverfügung vom 3. März 2011, mit welcher die Staatsanwaltschaft entschied, keine Strafuntersuchung gegen Staatsanwalt Christoph Mathys wegen Amtsgeheimnisverletzung an Hand zu nehmen, sowie eine Vernehmlassung von Staatsanwalt Christoph Mathys vom 4. März 2011 an das Obergericht im vom Beschwerdeführer initiierten Ausstandsverfahren gegen die Staatsanwälte Christoph Mathys und Ruedi Unterrassner.

Erwägungen:
1. Mit dem angefochtenen Entscheid ist die I. Beschwerdeabteilung des Obergerichts auf ein Ausstandsgesuch des Beschwerdeführers gegen die Staatsanwaltschaft nicht eingetreten. Angefochten ist somit ein letztinstanzlicher kantonaler Entscheid in einer Strafsache gemäss Art. 78 Abs. 1 und Art. 80 Abs. 1 BGG. Gegen selbstständig eröffnete Zwischenentscheide über ein Ausstandsbegehren ist die Beschwerde ans Bundesgericht zulässig (<ref-law>). Dies gilt auch, wenn wie vorliegend in Anwendung von Art. 59 Abs. 1 lit. b der Schweizerischen Strafprozessordnung vom 5. Oktober 2007 (StPO; SR 312.0) die kantonale Beschwerdeinstanz über ein Ausstandsgesuch entschieden hat. Zwar entscheidet diese gemäss <ref-law> "endgültig" über Ausstandsgesuche, womit das Ergreifen von in der StPO geregelten Rechtsmitteln ausser Betracht fällt. Nicht ausgeschlossen wird damit aber die im Bundesgerichtsgesetz geregelte Beschwerde in Strafsachen ans Bundesgericht (vgl. Art. 1 Abs. 1 und 2 StPO; NIKLAUS SCHMID, Handbuch des schweizerischen Strafprozessrechts, 2009, S. 205 Rz. 529; Markus Boog, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, N. 4 zu Art. 59). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde grundsätzlich einzutreten.
2. Gegenstand des vorliegenden Verfahrens bildet einzig der angefochtene Entscheid und damit die Frage, ob die Vorinstanz mit der Begründung, die Begehren des Beschwerdeführers seien offensichtlich unzulässig bzw. offensichtlich nicht hinreichend begründet, Nichteintreten beschliessen durfte. Soweit der Beschwerdeführer vor Bundesgericht beantragt, die Staatsanwaltschaft des Kantons Zug bzw. eventuell nur die Staatsanwälte Christoph Mathys und Ruedi Unterrassner seien in allen Verfahren zum Ausstand zu verpflichten, an welchen er als Partei beteiligt sei, liegen diese Begehren und die damit zusammenhängenden Rügen ausserhalb des durch den angefochtenen Nichteintretensentscheid begrenzten Streitgegenstands und ist auf die Beschwerde nicht einzutreten. Aus dem gleichen Grund ist auch auf den Antrag, alle bisherigen Amtshandlungen der Staatsanwaltschaft Zug seien aufzuheben, nicht einzutreten.
3. Der Beschwerdeführer rügt, die Vorinstanz habe mit dem angefochtenen Nichteintretensentscheid gegen das Verbot der formellen Rechtsverweigerung (<ref-law>) verstossen und seinen Anspruch auf ein rechtmässiges Gericht (<ref-law> sowie Art. 6 Ziff. 1 EMRK) verletzt.
3.1 Nach <ref-law> hat eine in einer Strafbehörde tätige Person in den Ausstand zu treten, wenn ein Ausstandsgrund gemäss lit. a-f vorliegt. Will eine Partei den Ausstand einer in einer Strafbehörde tätigen Person verlangen, hat sie ohne Verzug ein entsprechendes Gesuch zu stellen, sobald sie vom Ausstandsgrund Kenntnis hat (<ref-law>). Wird ein Ausstandsgrund nach Art. 56 lit. a oder f StPO geltend gemacht oder widersetzt sich eine in einer Strafbehörde tätige Person einem Ausstandsgesuch einer Partei, das sich auf Art. 56 lit. b-e StPO abstützt, so entscheidet die nach Art. 59 Abs. 1 lit. a-d StPO zuständige Behörde.
3.2 Die Beschwerdeabteilung des Obergerichts ist als nach Art. 59 Abs. 1 lit. b i.V.m. <ref-law> sowie § 21 Abs. 1 lit. c des kantonalen Gerichtsorganisationsgesetzes vom 26. August 2010 (GOG; BGS 161.1) zuständige Behörde auf das Ausstandsgesuch des Beschwerdeführers nicht eingetreten, weil sie dieses als offensichtlich unzulässig bzw. offensichtlich nicht hinreichend begründet einstufte. Der Nichteintretensentscheid wurde vom Einzelrichter getroffen. Die Kantone sind im Rahmen der Vorgaben der StPO bei der Organisation der Strafbehörden frei (Art. 14 Abs. 1 und 2 StPO). Über Nichteintreten auf offensichtlich unzulässige Rechtsmittel und auf Rechtsmittel, die offensichtlich keine hinreichende Begründung enthalten, entscheidet nach § 23 Abs. 1 und 2 GOG die Einzelrichterin bzw. der Einzelrichter. Es ist nicht bundesrechtswidrig und widerspricht insbesondere nicht <ref-law>, <ref-law> oder Art. 6 Ziff. 1 EMRK, wenn die nach <ref-law> zuständige Behörde auf offensichtlich unzulässige bzw. offensichtlich nicht hinreichend begründete Ausstandsgesuche nicht eintritt. Auch ist es nicht zu beanstanden, wenn in solchen Fällen in (analoger) Anwendung von § 23 Abs. 1 und 2 GOG ein Einzelrichter oder eine Einzelrichterin entscheidet. Dies wird vom Beschwerdeführer denn auch nicht ausdrücklich gerügt. Er bringt aber vor, die Vorinstanz habe das von ihm gestellte Ausstandsgesuch zu Unrecht als offensichtlich unzulässig bzw. offensichtlich nicht hinreichend begründet eingestuft.
3.3 Die Vorinstanz hat im angefochtenen Entscheid argumentiert, ein Ausstandsgesuch habe sich gegen die Mitwirkung einer in einer konkreten Sache tätigen einzelnen Person zu richten, nicht aber gegen eine Gesamtbehörde. Der Beschwerdeführer ist dagegen der Ansicht, in Konstellationen wie der vorliegenden seien Ablehnungsbegehren gegen Gesamtbehörden zulässig. Sein Gesuch hätte als Ausstandsbegehren gegen alle Einzelmitglieder der Staatsanwaltschaft entgegen genommen werden müssen.
3.3.1 Der Beschwerdeführer beantragte mit seinem Gesuch ausdrücklich den Ausstand der Staatsanwaltschaft des Kantons Zug und damit der Gesamtbehörde. Die in <ref-law> genannten Ausstandsgründe beziehen sich indessen stets auf einzelne Mitglieder der Strafbehörden, nicht auf die ganze Behörde. Der Wortlaut von Art. 58 Abs. 1 i.V.m. <ref-law> lässt Ausstandsgesuche, die sich gegen eine Gesamtbehörde richten, nicht zu (NIKLAUS SCHMID, Schweizerische Strafprozessordnung, 2009, N. 2 zu Art. 56 sowie N. 1 zu Art. 58; Boog, a.a.O., N. 2 zu Art. 58, mit Hinweisen; vgl. <ref-ruling> E. 1a S. 302 f. zu Art. 22 f. OG sowie <ref-ruling> zu <ref-law>).
3.3.2 Die Frage, ob ein formell gegen eine ganze Strafbehörde gerichtetes Ausstandsgesuch als Ausstandsbegehren gegen alle Einzelmitglieder der Behörde entgegenzunehmen ist, wenn im Gesuch geltend gemacht und begründet wird, dass Ausstandsgründe nach <ref-law> für alle Einzelmitglieder bestünden (vgl. Boog, a.a.O., N. 2 zu Art. 58, mit Hinweisen), braucht vorliegend nicht beantwortet zu werden. Dies weil aus dem Gesuch des Beschwerdeführers nicht hervorging, inwiefern die personenbezogenen Ausstandsgründe von <ref-law> auf sämtliche Mitglieder der Staatsanwaltschaft zutreffen sollten. Zwar machte der Beschwerdeführer im Ausstandsgesuch geltend, mit der Einsetzung eines bisher nicht involvierten Staatsanwalts oder einer nicht involvierten Staatsanwältin des Kantons Zug bestünde keine Gewissheit, dass der zunächst untersuchende Staatsanwalt nicht doch im Hintergrund Einfluss auf den Verfahrensgang nehme, weil die Staatsanwaltschaft organisatorisch nicht in der Lage sei oder nicht die Bereitschaft aufbringe, den zunächst untersuchenden Staatsanwalt von den Verfahren, an welchen der Beschwerdeführer beteiligt sei, auszuschliessen. Dieser Einwand betrifft aber die Staatsanwaltschaft als Ganzes, ohne dass der Beschwerdeführer dargelegt und begründet hätte, inwiefern die einzelnen Mitglieder der Staatsanwaltschaft befangen sein sollten. Auch mit seiner Eingabe vom 15. März 2011 vermag der Beschwerdeführer - soweit es sich beim Vorgebrachten nicht ohnehin um unzulässige Noven im Sinne von <ref-law> handelt - nicht aufzuzeigen, inwiefern sein Gesuch als Ausstandsbegehren gegen alle Einzelmitglieder der Staatsanwaltschaft hätte entgegen genommen und behandelt werden müssen, zumal er ausführt, die eingereichten Dokumente illustrierten, dass die Staatsanwaltschaft "insgesamt" befangen sei.
3.4 Nicht durchzudringen vermag der Beschwerdeführer auch mit dem Einwand, die Vorinstanz hätte seine Eingabe zumindest als Ausstandsbegehren gegen zwei im Gesuch namentlich erwähnte Staatsanwälte entgegennehmen und materiell behandeln müssen. Einen entsprechenden Antrag oder Eventualantrag hat der Beschwerdeführer im Gesuch nicht gestellt, sondern ausdrücklich den Ausstand der Staatsanwaltschaft des Kantons Zug und damit der Gesamtbehörde verlangt. Dass das Gesuch nicht auf einzelne Staatsanwälte, sondern die Staatsanwaltschaft als Gesamtbehörde abzielte, geht auch daraus hervor, dass der Beschwerdeführer weiter verlangte, alle hängigen Verfahren, in welchen ihm Parteistellung zukomme, seien auf die Staatsanwaltschaft eines anderen Kantons zu übertragen. Unter diesen Umständen verstiess die Vorinstanz nicht gegen das Verbot des überspitzten Formalismus (<ref-law>), wenn sie die Eingabe des anwaltlich vertretenen Beschwerdeführers vom 31. Dezember 2010 nicht als Ausstandsgesuch gegen einzelne im Gesuch namentlich erwähnte Staatsanwälte entgegennahm. Selbst wenn aus der Gesuchsbegründung allenfalls hervorging, dass der Beschwerdeführer (auch) die beiden namentlich erwähnten Staatsanwälte für befangen hielt, war die Vorinstanz angesichts des unmissverständlichen Antrags des Beschwerdeführers nicht gehalten, auf die entsprechenden Ausführungen einzugehen. Soweit der Beschwerdeführer im vorliegenden Verfahren seine Vorwürfe gegen diese beiden Staatsanwälte wiederholt, ist auf seine Ausführungen wie bereits erwähnt nicht einzutreten (vgl. E. 2 hiervor).
3.5 Als offensichtlich unzulässig bzw. offensichtlich nicht hinreichend begründet durfte die Vorinstanz auch den Antrag des Beschwerdeführers einstufen, alle bisherigen Amtshandlungen der Staatsanwaltschaft Zug seien aufzuheben. Die Frage, ob in Anwendung von Art. 60 Abs. 1 und 2 StPO bisherige Amtshandlungen hätten aufgehoben und wiederholt werden müssen, hätte sich nur gestellt, wenn das Ausstandsgesuch des Beschwerdeführers gutgeheissen worden wäre.
3.6 Unbehelflich ist sodann der Einwand des Beschwerdeführers, die Vorinstanz hätte Ausstandsgründe von Amtes wegen berücksichtigen müssen. Auch wenn eine Person, auf die ein Ausstandsgrund zutrifft, nach <ref-law> von sich aus in den Ausstand zu treten hat, wird die zum Entscheid über ein Ausstandsbegehren zuständige Behörde nur auf Gesuch einer Partei hin tätig (Art. 58 f. StPO).
4. Die Vorinstanz hat somit keine Rechtsverletzung im Sinne von <ref-law> begangen, wenn sie die Begehren des Beschwerdeführers als offensichtlich unzulässig bzw. offensichtlich nicht hinreichend begründet einstufte und deshalb auf das Ausstandsgesuch nicht eingetreten ist. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft und dem Obergericht des Kantons Zug, I. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 14. April 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Aemisegger Mattle