Sachverhalt:
A. Die Staatsanwaltschaft des Kantons Zug führt eine Strafuntersuchung gegen X._ wegen ungetreuer Geschäftsbesorgung, eventuell Veruntreuung und Betrugs. In diesem Zusammenhang erteilte die Staatsanwaltschaft am 2. November 2010 Y._ den Auftrag, die sichergestellten Buchhaltungs- und Geschäftsunterlagen von zwei Kommanditgesellschaften sowie einer Aktiengesellschaft einer genauen Betrachtung zu unterziehen und dabei Basiserhebungen zu tätigen sowie diverse Fragen zu beantworten.
B. Am 9. November 2010 beantragte X._ bei der Staatsanwaltschaft die Sistierung des Auftrags an Y._ und die vorgängige Befragung weiterer Personen. Erst wenn nach den beantragten Befragungen noch Fragen ungeklärt blieben, rechtfertige es sich, ein Gutachten einzuholen, wobei sich die Frage stellen werde, ob Y._ als Gutachter überhaupt noch in Betracht komme, zumal er durch den erteilten Auftrag beeinflusst worden sei und seine fachliche Befähigung in Frage stehe. Ausserdem beantragte X._ Einsicht in eine interne Notiz über ein Gespräch, welches der Auftragserteilung vorausgegangen sei, sowie in allfällige weitere dokumentierte Kontakte zwischen der Staatsanwaltschaft und dem beauftragten Sachverständigen.
C. Mit Verfügung vom 24. November 2010 wies die Staatsanwaltschaft die Anträge auf Sistierung des Gutachterauftrags und die vorgängige Befragung weiterer Personen ab. Sie bestätigte Y._ als Gutachter sowie den ihm erteilten Auftrag und wies das Gesuch um Einsicht in die Gesprächsnotiz ab. Eine von X._ gegen die Bestätigung des Gutachters und den ihm erteilten Auftrag sowie der Abweisung des Gesuchs um Einsicht in die Gesprächsnotiz erhobene Beschwerde wies die Justizkommission des Obergerichts des Kantons Zug am 9. März 2011 ab, soweit sie nicht gegenstandslos geworden sei.
D. Dagegen gelangt X._ am 14. April 2011 mit Beschwerde in Strafsachen ans Bundesgericht. Er beantragt, das Urteil der Justizkommission des Obergerichts vom 9. März 2011 sowie die Verfügung der Staatsanwaltschaft Zug vom 24. November 2010 seien aufzuheben.
E. Die Vorinstanz beantragt die Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Die Staatsanwaltschaft verzichtet auf eine Vernehmlassung.
F. Mit Eingabe vom 13. Mai 2011 hält der Beschwerdeführer sinngemäss an seiner Beschwerde fest.

Erwägungen:
1. Angefochten ist ein letztinstanzlicher kantonaler Entscheid in einer Strafsache, gegen den gemäss <ref-law> grundsätzlich die Beschwerde in Strafsachen zulässig ist. Der angefochtene Entscheid schliesst das Strafverfahren gegen den Beschwerdeführer nicht ab; es handelt sich dabei somit um einen Zwischenentscheid.
1.1 Gegen selbstständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und Ausstandsbegehren ist die Beschwerde ans Bundesgericht zulässig (<ref-law>). Gegen andere Vor- und Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand zum Gegenstand haben, ist die Beschwerde gemäss <ref-law> nur zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Im Verfahren der Beschwerde in Strafsachen setzt <ref-law> das Vorliegen eines Nachteils rechtlicher Natur voraus, der auch durch einen günstigen Endentscheid nachträglich nicht mehr behoben werden könnte (<ref-ruling> E. 2.1 S. 45). Der Beschwerdeführer muss - sofern das nicht offensichtlich ist - darlegen, weshalb ein Zwischenentscheid gemäss <ref-law> anfechtbar sein soll (<ref-ruling> E. 4 S. 95; <ref-ruling> E. 2.3.1 S. 632).
1.2 Der Beschwerdeführer hat in seiner Eingabe an die Staatsanwaltschaft vom 9. November 2010 unter anderem die Unbefangenheit und Unvoreingenommenheit des beauftragten Sachverständigen in Frage gestellt, worauf die Staatsanwaltschaft den beauftragten Experten mittels Verfügung bestätigte. Beim angefochtenen Entscheid der Vorinstanz, mit welchem sie den Auftrag zur Erstellung eines Gutachtens schützte, handelt es sich hinsichtlich der Bestätigung der Person des beauftragten Gutachters um einen selbstständig eröffneten Zwischenentscheid über die Ablehnung einer sachverständigen Person, gegen den die Beschwerde in Strafsachen nach <ref-law> zulässig ist (vgl. Urteil 1B_22/2007 vom 29. Mai 2007 E. 2.2). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist insoweit auf die Beschwerde einzutreten.
1.3 Ob eine Streitigkeit nach <ref-law> vorliegt, beurteilt sich nach dem Gegenstand des angefochtenen Zwischenentscheids. <ref-law> bezieht sich nur auf formelle (gesetzliche) Ausstandsgründe und nicht auf andere mit der Begutachtung zusammenhängende Fragen (vgl. dazu <ref-ruling> E. 3.2 S. 157 f. mit Hinweis). Gegenstand des Verfahrens kann somit - neben der Rüge des Beschwerdeführers, die Vorinstanz habe ihm keine Gelegenheit zu einer Stellungnahme zur Vernehmlassung der Staatsanwaltschaft vom 20. Dezember 2010 gegeben - allein die Frage sein, ob das Ausstandsbegehren gegen den Sachverständigen zu Recht abgewiesen worden ist.
1.3.1 Soweit der Beschwerdeführer Einwände erhebt, welche nicht die Unbefangenheit und Unvoreingenommenheit des Sachverständigen, sondern andere mit dem Gutachterauftrag zusammenhängende Fragen und insbesondere die Gewährung der Einsicht in eine Aktennotiz über ein Gespräch vom 13. August 2010 zwischen der Staatsanwaltschaft und dem beauftragten Gutachter betreffen, wäre darauf nur unter den Voraussetzungen von <ref-law> einzutreten, wobei die Anwendung von <ref-law> hier von vornherein ausser Betracht fällt. Der Beschwerdeführer legt nicht dar und es ist auch nicht ersichtlich, inwiefern ihm durch das Vorgehen der Staatsanwaltschaft bzw. den angefochtenen Zwischenentscheid ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law> drohen sollte, weshalb auf die betreffenden Rügen nicht einzutreten ist. Dies gilt auch für die Rüge, an der Ausarbeitung und Erteilung des Gutachterauftrags sei ein Staatsanwalt beteiligt gewesen, der sich gemäss § 44 des Gesetzes über die Organisation der Gerichtsbehörden des Kantons Zug in der bis am 31. Dezember 2010 gültigen Fassung (aGOG/ZG) eigentlich im Ausstand hätte befinden müssen.
1.3.2 Einen vom Beschwerdeführer nach dem Erlass der Verfügung der Staatsanwaltschaft vom 24. November 2010 gestellten Antrag um Einsicht in die gesamten Akten der Strafuntersuchung erachtete die Vorinstanz als gegenstandslos, weil die Staatsanwaltschaft dem Beschwerdeführer in der Zwischenzeit Einsicht in die gesamten Akten der Strafuntersuchung in Aussicht gestellt hatte. Nachdem der Beschwerdeführer am 2. Dezember 2010 bzw. am 27. Dezember 2010 jedenfalls Einblick in die dem Gutachterauftrag zugrunde liegenden Akten erhalten hat und er nicht darlegt, inwiefern ihm dadurch ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law> drohen sollte, dass er bis zum Erlass des Entscheids der Vorinstanz noch nicht Einsicht in die gesamten Akten der Strafuntersuchung nehmen konnte, ist auch auf seine Rüge, die Vorinstanz hätte den Antrag auf Einsicht in die gesamten Akten nicht als gegenstandslos geworden erklären dürfen, nicht einzutreten.
1.4 Nicht einzutreten ist auf die Beschwerde sodann, soweit die Aufhebung der Verfügung der Staatsanwaltschaft vom 24. November 2010 beantragt wird. Dieser Entscheid ist durch den Entscheid der Vorinstanz ersetzt worden (Devolutiveffekt) und gilt als inhaltlich mitangefochten (vgl. <ref-ruling> E. 1.4 S. 144 mit Hinweis).
2. Der Beschwerdeführer rügt, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör sowie auf ein faires und gerechtes Verfahren verletzt, indem sie ihm im vorinstanzlichen Verfahren eine vollständige Stellungnahme zur Vernehmlassung der Staatsanwaltschaft vom 20. Dezember 2010 verweigert habe.
2.1 Er bringt vor, er habe am 24. Dezember 2010 bei der Vorinstanz Akteneinsicht verlangt und gleichzeitig eine Stellungnahme zur Vernehmlassung der Staatsanwaltschaft vom 20. Dezember 2010 angekündigt. Im Rahmen der Akteneinsicht habe er erfahren, dass ein Staatsanwalt, der sich eigentlich im Ausstand hätte befinden müssen, an der Vorbereitung des Gutachterauftrags mitgewirkt habe. Am 6. Januar 2011 habe er die Vorinstanz darauf hingewiesen, dass die Verfügung der Staatsanwaltschaft vom 24. November 2010 schon aus diesem Grunde aufzuheben sei. Gleichzeitig habe er der Vorinstanz mitgeteilt, er behalte sich eine inhaltliche Stellungnahme zur Vernehmlassung der Staatsanwaltschaft vom 20. Dezember 2010 vor, falls der Gutachterauftrag nicht ohnehin aufgehoben werde, und sein Schreiben sei in diesem Sinne als Fristverlängerungsgesuch entgegenzunehmen. Indem die Vorinstanz über seine Beschwerde entschieden habe, ohne zuvor seine Eingabe vom 6. Januar 2011 zu beantworten oder zu behandeln, habe sie ihm das Replikrecht abgeschnitten. Nach Ansicht des Beschwerdeführers hätte die Vorinstanz sein Fristverlängerungsgesuch nicht unbehandelt lassen dürfen.
2.2 Der Anspruch einer Partei, im Rahmen eines Gerichtsverfahrens zu replizieren, bildet einen Teilgehalt des Anspruchs auf rechtliches Gehör nach <ref-law>. Im Anwendungsbereich von Art. 6 Ziff. 1 EMRK ist es den Gerichten nicht gestattet, einer Partei das Äusserungsrecht zu eingegangenen Stellungnahmen bzw. Vernehmlassungen der übrigen Verfahrensparteien, unteren Instanzen und weiteren Stellen abzuschneiden. Die Partei ist vom Gericht nicht nur über den Eingang dieser Eingaben zu orientieren. Sie muss ausserdem die Möglichkeit zur Replik haben. Unerheblich ist dabei, ob eine Eingabe neue Tatsachen oder Argumente enthält und ob sie das Gericht tatsächlich zu beeinflussen vermag. Es ist Sache der Parteien zu beurteilen, ob ein Dokument einen Kommentar erfordert. <ref-law> gebietet, dass die Gerichte diese Grundsätze auch ausserhalb von Art. 6 Ziff. 1 EMRK beachten. <ref-law> und Art. 6 Ziff. 1 EMRK kommen im Hinblick auf das Replikrecht in gerichtlichen Verfahren dieselbe Tragweite zu (<ref-ruling> E. 2.1 S. 99; 100 E. 4.3 ff. S. 102 ff.; je mit Hinweisen).
Nach bundesgerichtlicher Rechtsprechung besteht kein verfassungsrechtlicher Anspruch der Parteien, zur rechtlichen Würdigung der durch sie in den Prozess eingeführten Tatsachen noch besonders angehört zu werden. Ebenso wenig folgt aus dem Gehörsanspruch, dass die Parteien vorgängig auf den für den Entscheid wesentlichen Sachverhalt hinzuweisen wären. Eine Ausnahme besteht namentlich dann, wenn ein Gericht seinen Entscheid mit einem Rechtsgrund zu begründen beabsichtigt, auf den sich die beteiligten Parteien nicht berufen haben und mit dessen Erheblichkeit sie vernünftigerweise nicht rechnen mussten (<ref-ruling> E. 5 S. 39; <ref-ruling> E. 2c/aa S. 22; <ref-ruling> E. 3c S. 52).
2.3 Die Vorinstanz hat dem Beschwerdeführer die Vernehmlassung der Staatsanwaltschaft vom 20. Dezember 2010 umgehend zur Kenntnisnahme zugestellt. Auch wenn sie nicht einen zweiten Schriftenwechsel angeordnet oder dem Beschwerdeführer förmlich eine Frist zur freigestellten Stellungnahme angesetzt hat, hatte der Beschwerdeführer Gelegenheit, seinerseits zur Vernehmlassung der Staatsanwaltschaft Stellung zu nehmen, zumal der vorinstanzliche Entscheid erst am 9. März 2011 und damit mehr als zwei Monate nach der Zustellung der Vernehmlassung erging. Der Beschwerdeführer hat sich denn mit Eingabe vom 6. Januar 2011 auch zur Sache geäussert. Dass er dabei, ohne auf die ihm zugestellte Stellungnahme der Staatsanwaltschaft einzugehen, nur gerügt hat, ein Staatsanwalt habe unberechtigterweise an der Vorbereitung des Gutachterauftrags mitgewirkt, hat nicht die Vorinstanz zu verantworten.
Soweit der Beschwerdeführer sein Schreiben vom 6. Januar 2011 als Fristverlängerungsversuch verstanden haben wollte, ist darauf hinzuweisen, dass die Vorinstanz für eine allfällige Stellungnahme gar keine Frist gesetzt hat, ihm aber ausreichend Zeit liess, sich zur Vernehmlassung der Staatsanwaltschaft zu äussern. Eine Verletzung des Anspruchs des Beschwerdeführers auf rechtliches Gehör oder auf ein faires Verfahren (<ref-law>) ist auch nicht darin zu erblicken, dass der Beschwerdeführer sich in seiner Eingabe vom 6. Januar 2011 für den Fall, dass die Vorinstanz seine Rechtsauffassung nicht teile, eine weitere Stellungnahme vorbehielt und die Vorinstanz nicht mehr darauf reagierte. Dies zumal die Vorinstanz den angefochtenen Entscheid nicht mit einem Rechtsgrund begründet hat, auf den sich die beteiligten Parteien nicht berufen haben und mit dessen Erheblichkeit der Beschwerdeführer vernünftigerweise nicht rechnen musste.
3. Zu prüfen bleibt die Rüge des Beschwerdeführers, der von der Staatsanwaltschaft beauftragte Gutachter sei nicht unparteiisch, unbefangen und unvoreingenommen im Sinne von <ref-law>.
3.1 Nach § 23 Abs. 1 der inzwischen aufgehobenen Strafprozessordnung für den Kanton Zug (aStPO/ZG) gelten für die Sachverständigen die gleichen Ausstandsgründe wie für den Richter (vgl. dazu § 41 Ziff. 5 und § 42 aGOG/ZG), wobei diese Bestimmungen vorliegend noch Anwendung finden (Art. 453 Abs. 1 der Schweizerischen Strafprozessordnung vom 5. Oktober 2007 [StPO; SR 312.0]). Nach <ref-law> und Art. 6 Ziff. 1 EMRK hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter entschieden wird. Nach der Rechtsprechung des Bundesgerichts wird diese Verfahrensgarantie sinngemäss auch auf das Erfordernis der Unabhängigkeit und Unparteilichkeit von Sachverständigen übertragen (<ref-ruling> E. 7.1 S. 109; <ref-ruling> E. 3c S. 253; je mit Hinweis).
3.2 Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters bzw. des Sachverständigen zu erwecken. Solche Umstände können in einem bestimmten Verhalten des betreffenden Richters bzw. Sachverständigen oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter bzw. Sachverständige tatsächlich befangen ist (<ref-ruling> E. 3.1 S. 210 mit Hinweisen).
Der Anschein der Befangenheit und Voreingenommenheit kann auch dadurch erweckt werden, dass die sachverständige Person in einem früheren Zeitpunkt in amtlicher Funktion mit der konkreten Sache schon zu tun hatte (sogenannte Vorbefassung). Die blosse wiederholte Begutachtung durch denselben Sachverständigen vermag indessen für sich allein nicht den Anschein der Befangenheit hervorzurufen. Eine unzulässige Vorbefassung liegt auch dann nicht vor, wenn der Sachverständige zu (für eine Partei) ungünstigen Schlussfolgerungen gelangt ist. Anderes gilt, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit objektiv zu begründen vermögen, etwa wenn der Sachverständige seinen Bericht nicht neutral und sachlich abfasste (<ref-ruling> E. 7.2.2 S. 110 mit Hinweis).
3.3 Soweit der Beschwerdeführer auf von bestimmten Staatsanwälten angeblich begangene krasse Verfahrensfehler hinweist, ist nicht ersichtlich, inwiefern dies vorliegend von Bedeutung sein sollte. Selbst wenn die Darstellung des Beschwerdeführers zutreffen sollte, dass der Sachverständige im Vorfeld der Erteilung des Gutachterauftrags Kontakt mit einem Staatsanwalt gehabt haben sollte, der sich angeblich im Ausstand hätte befinden müssen, liesse sich daraus ein Anschein von Befangenheit hinsichtlich der Person des Sachverständigen nicht ableiten. Wie die Vorinstanz sodann zu Recht festgehalten hat, kann nach der dargestellten Rechtsprechung allein aus dem Umstand, dass der beauftragte Sachverständige schon in einem anderen Untersuchungsverfahren betreffend den Beschwerdeführer als Gutachter tätig geworden ist, nicht auf Befangenheit geschlossen werden. Ebenso wenig ist massgebend, dass frühere Gutachten des Sachverständigen aus der Sicht des Beschwerdeführers fachliche Mängel aufweisen. Dass die früheren Gutachten nicht neutral und sachlich, sondern beispielsweise in einem beleidigenden Ton abgefasst worden wären, legt der Beschwerdeführer nicht dar und ist nicht ersichtlich. Der Beschwerdeführer bringt auch sonst nichts vor, was hinsichtlich der Person des beauftragten Sachverständigen den Anschein der Befangenheit und die Gefahr der Voreingenommenheit objektiv begründen könnte. Die Vorinstanz hat somit eine Voreingenommenheit und Befangenheit des beauftragten Sachverständigen verneint, ohne gegen <ref-law> bzw. Art. 6 Ziff. 1 EMRK zu verstossen.
4. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer sowie der Staatsanwaltschaft und dem Obergericht des Kantons Zug, Justizkommission, Strafrechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 31. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Mattle