Sachverhalt: A. Mit Beschluss des Strafgerichts des Kantons Zug vom 25. Januar 2011 wurde eine von der Staatsanwaltschaft des Kantons Zug eingereichte Anklage gegen X._ wegen Unvollständigkeit an diese zurückgewiesen. Die Rückweisung erfolgte unter anderem, weil die Staatsanwaltschaft in der Anklageschrift eine Verwahrung im Sinne von Art. 64 Abs. 1bis StGB beantragt hatte, obwohl kein zweites Sachverständigengutachten gemäss Art. 56 Abs. 4bis StGB vorlag. B. Am 27. Januar 2011 beauftragte die Staatsanwaltschaft Dr. med. Y._ mit der Ausfertigung des Zweitgutachtens. Dagegen erhob X._ Beschwerde, welche von der I. Beschwerdeabteilung des Obergerichts des Kantons Zug am 16. März 2011 abgewiesen wurde. C. Gegen den Entscheid des Obergerichts gelangt X._ mit Beschwerde ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben. Wie schon vor Obergericht stellt er den Antrag, Dr. med. Y._ sei vom Gutachtensauftrag zu entbinden und es sei stattdessen Dr. med. Z._ mit der Erstellung eines weiteren fachärztlichen Gutachtens zu beauftragen. Eventualiter sei die Staatsanwaltschaft aufzufordern, in Absprache mit der Verteidigung einen neuen Gutachter zu bestellen. D. Die Vorinstanz verweist auf den angefochtenen Entscheid und schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Die Staatsanwaltschaft beantragt ebenfalls, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hält an seiner Beschwerde und den gestellten Rechtsbegehren fest.