Sachverhalt:
A. Mit Beschluss des Strafgerichts des Kantons Zug vom 25. Januar 2011 wurde eine von der Staatsanwaltschaft des Kantons Zug eingereichte Anklage gegen X._ wegen Unvollständigkeit an diese zurückgewiesen. Die Rückweisung erfolgte unter anderem, weil die Staatsanwaltschaft in der Anklageschrift eine Verwahrung im Sinne von <ref-law> beantragt hatte, obwohl kein zweites Sachverständigengutachten gemäss <ref-law> vorlag.
B. Am 27. Januar 2011 beauftragte die Staatsanwaltschaft Dr. med. Y._ mit der Ausfertigung des Zweitgutachtens. Dagegen erhob X._ Beschwerde, welche von der I. Beschwerdeabteilung des Obergerichts des Kantons Zug am 16. März 2011 abgewiesen wurde.
C. Gegen den Entscheid des Obergerichts gelangt X._ mit Beschwerde ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben. Wie schon vor Obergericht stellt er den Antrag, Dr. med. Y._ sei vom Gutachtensauftrag zu entbinden und es sei stattdessen Dr. med. Z._ mit der Erstellung eines weiteren fachärztlichen Gutachtens zu beauftragen. Eventualiter sei die Staatsanwaltschaft aufzufordern, in Absprache mit der Verteidigung einen neuen Gutachter zu bestellen.
D. Die Vorinstanz verweist auf den angefochtenen Entscheid und schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Die Staatsanwaltschaft beantragt ebenfalls, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hält an seiner Beschwerde und den gestellten Rechtsbegehren fest.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Entscheid in einer Strafsache, der gemäss <ref-law> grundsätzlich mit Beschwerde in Strafsachen anfechtbar ist. Der angefochtene Entscheid schliesst das Strafverfahren gegen den Beschwerdeführer nicht ab. Es handelt sich der Sache nach um einen selbstständig eröffneten Zwischenentscheid über die Ablehnung einer sachverständigen Person, gegen den die Beschwerde in Strafsachen nach <ref-law> zulässig ist (Urteil 1B_22/2007 vom 29. Mai 2007 E. 2.2). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde grundsätzlich einzutreten.
1.2 Gegenstand des Verfahrens kann allerdings allein die Ausstandsfrage sein, weil sich <ref-law> nur auf formelle (gesetzliche) Ausstandsgründe bezieht (vgl. dazu <ref-ruling> E. 3.2 S. 157 f. mit Hinweis). Zwischenverfügungen über andere Fragen der Begutachtung sind nur anfechtbar, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (<ref-law>), welcher auch durch einen günstigen Endentscheid nachträglich nicht mehr behoben werden könnte (<ref-ruling> E. 2.1 S. 45). Soweit der Beschwerdeführer geltend macht, er habe keine Gelegenheit erhalten, sich vorgängig zur Person des Gutachters sowie zu den gestellten Fragen zu äussern, und in seinem Fall sei die Begutachtung durch einen Facharzt für Suchterkrankungen unerlässlich, legt er nicht dar und ist auch nicht ersichtlich, inwiefern ihm dadurch ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law> drohen sollte, weshalb darauf nicht einzutreten ist. Das Gleiche gilt für die Begehren, es sei Dr. med. Z._ mit der Erstellung des weiteren fachärztlichen Gutachtens zu beauftragen oder die Staatsanwaltschaft aufzufordern, in Absprache mit der Verteidigung einen neuen Gutachter zu bestellen.
2. Nach Art. 56 der Schweizerischen Straffprozessordnung vom 5. Oktober 2007 (StPO; SR 312.0) hat eine in einer Strafbehörde tätige Person in Ausstand zu treten, wenn sie aus den in lit. a-f genannten Gründen befangen sein könnte. Diese Ausstandsgründe gelten nach <ref-law> auch für Sachverständige. Zu berücksichtigen ist die Rechtsprechung des Bundesgerichts zum Anspruch auf einen unparteiischen, unvoreingenommenen und unbefangenen Richter gemäss <ref-law> und Art. 6 Ziff. 1 EMRK, zumal diese Garantie sinngemäss auch auf das Erfordernis der Unabhängigkeit und Unbefangenheit von Sachverständigen angewendet wird (<ref-ruling> E. 7.1 S. 109; <ref-ruling> E. 3c S. 253; je mit Hinweis). Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters bzw. des Sachverständigen zu erwecken. Solche Umstände können in einem bestimmten Verhalten des betreffenden Richters bzw. Sachverständigen oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter bzw. Sachverständige tatsächlich befangen ist (<ref-ruling> E. 3.1 S. 210 mit Hinweisen).
3. Der Beschwerdeführer rügt sinngemäss, der von der Staatsanwaltschaft beauftragte zweite Gutachter sei im Sinne von <ref-law> befangen, weshalb er in Ausstand zu treten habe.
3.1 Die Vorinstanz hat dazu im angefochtenen Entscheid ausgeführt, der Beschwerdeführer behaupte nicht, er sei vom beauftragten Gutachter schon einmal behandelt, in anderer Weise betreut oder begutachtet worden. Allein die Behauptung, es handle sich beim beauftragten Gutachter um einen absoluten Hardliner, sei nicht geeignet, dessen Objektivität in Zweifel zu ziehen. Es bestehe kein Anlass, daran zu zweifeln, dass der vorgeschlagene Experte in der Lage sei, die an ihn im Auftrag formulierten Fragen objektiv zu beantworten. Es bestünden keine objektiven Anhaltspunkte, die einen Anschein der Befangenheit oder die Gefahr der Voreingenommenheit begründen könnten.
3.2 Der Beschwerdeführer bringt vor, der beauftragte zweite Gutachter sei von der Staatsanwaltschaft darüber informiert worden, dass bereits ein fachärztliches Gutachten bestehe und in der zurückgewiesenen Anklage Verwahrung nach <ref-law> beantragt worden sei. Der Gutachter sei aber nicht darauf hingewiesen worden, dass das erste Gutachten gemäss dem Rückweisungsbeschluss des Strafgerichts keine hinreichende Begutachtung für eine lebenslängliche Verwahrung darstelle. Dieses Vorgehen stelle eine Beeinflussung des beauftragten zweiten Gutachters dar. Dieser sei überdies beeinflusst worden, indem im Auftrag zum Gutachten von mehrfachem Mord statt wie noch im Auftrag an den ersten Gutachter von einem zweifachen Tötungsdelikt die Rede sei.
3.3 Soweit es sich bei diesen Vorbringen nicht ohnehin um unzulässige Noven im Sinne von <ref-law> handelt, sind sie jedenfalls nicht geeignet, die Objektivität des beauftragten zweiten Sachverständigen in Zweifel zu ziehen. Nicht nachvollziehbar ist sodann der Vorwurf des Beschwerdeführers, die Staatsanwaltschaft habe möglicherweise zunächst bewusst kein zweites Gutachten erstellen lassen, um nach der Rückweisung der Anklage durch das Strafgericht den zweiten Gutachter beeinflussen zu können. Soweit der Beschwerdeführer im Übrigen das Vorgehen der Untersuchungsbehörden kritisiert, ohne einen Zusammenhang zur Person des beauftragen zweiten Sachverständigen herzustellen, kann er daraus im vorliegenden Verfahren von vornherein nichts zu seinen Gunsten ableiten. Wie die Vorinstanz zurecht ausgeführt hat, sind keine Umstände ersichtlich, die bei objektiver Betrachtung den Anschein der Befangenheit oder Voreingenommenheit des von der Staatsanwaltschaft beauftragten zweiten Sachverständigen erwecken.
4. Nach dem Gesagten erweist sich die Beschwerde als offensichtlich unbegründet. Sie ist im Verfahren von <ref-law> abzuweisen, soweit darauf einzutreten ist. Unter den gegebenen Umständen rechtfertigt es sich, auf die Erhebung von Kosten zu verzichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Zug, I. Abteilung, und dem Obergericht des Kantons Zug, I. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 16. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Mattle