Sachverhalt:
A. Die Staatsanwaltschaft Zug führte gegen X._ eine Strafuntersuchung. Mit Schreiben vom 28. Dezember 2010 teilte sie X._ mit, sämtliche von ihm gestellten Aktenergänzungsanträge würden abgewiesen und es werde auf Aktenschluss entschieden. Dagegen gelangte X._ mit Beschwerde an die Justizkommission der Strafrechtlichen Kammer des Obergerichts des Kantons Zug.
B. Mit Beschluss des Strafgerichts des Kantons Zug vom 25. Januar 2011 wurde die von der Staatsanwaltschaft inzwischen erhobene Anklage gegen X._ wegen Unvollständigkeit an diese zurückgewiesen.
C. Mit Beschluss vom 17. März 2011 trat die Justizkommission auf die von X._ erhobene Beschwerde gegen das Schreiben der Staatsanwaltschaft vom 28. Dezember 2010 nicht ein.
D. Gegen den Entscheid der Justizkommission erhebt X._ Beschwerde ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben. Zudem sei festzustellen, dass die Staatsanwaltschaft die Akteneinsicht zu Unrecht bis zum 17. Dezember 2010 befristet und damit seinen Anspruch auf rechtliches Gehör verletzt habe.
E. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Entscheid in einer Strafsache, der gemäss Art. 78 ff. BGG grundsätzlich mit Beschwerde in Strafsachen anfechtbar ist. Der angefochtene Entscheid schliesst das Strafverfahren gegen den Beschwerdeführer nicht ab. Es handelt sich deshalb um keinen Endentscheid gemäss Art. 90 BGG, sondern um einen Zwischenentscheid. Gegen selbstständig eröffnete Vor- und Zwischenentscheide - die weder die Zuständigkeit noch den Ausstand zum Gegenstand haben (vgl. Art. 92 BGG) - ist die Beschwerde ans Bundesgericht gemäss Art. 93 Abs. 1 BGG zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder - was indes hier von vornherein ausser Betracht fällt - wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Der Beschwerdeführer muss - sofern das nicht offensichtlich ist - darlegen, weshalb ein Zwischenentscheid gemäss Art. 93 Abs. 1 BGG anfechtbar sein soll (BGE 136 IV 92 E. 4 S. 95; 133 III 629 E. 2.3.1 S. 632).
1.2 Was den angefochtenen Beschluss der Justizkommission anbelangt, legt der Beschwerdeführer nicht ansatzweise dar und ist denn auch nicht ersichtlich, inwiefern ein derartiger Nachteil gemäss Art. 93 Abs. 1 lit. a BGG drohen könnte. Dies gilt umso mehr, als der Entscheid auf Aktenschluss vom 28. Dezember 2010 ohnehin gegenstandslos geworden ist, nachdem das Strafgericht die von der Staatsanwaltschaft erhobene Anklage mit Beschluss vom 25. Januar 2011 wegen Unvollständigkeit an diese zurückgewiesen hat. Auf die Beschwerde ist somit nicht einzutreten.
2. Hinzu kommt, dass das angefochtene Urteil drei selbstständige Begründungen enthält, weshalb auf die Beschwerde gegen das Schreiben der Staatsanwaltschaft vom 28. Dezember 2010 nicht einzutreten sei. Soweit sich der Beschwerdeführer überhaupt mit dem angefochtenen Entscheid auseinandersetzt, tut er dies jedenfalls nicht für jede der drei Begründungen, welche je für sich den Ausgang des Rechtsstreits besiegeln. In Anwendung von Art. 42 Abs. 2 Satz 1 BGG wäre auch aus diesem Grund nicht auf die Beschwerde einzutreten (vgl. BGE 133 IV 119 E. 6; 121 IV 94 E. 1b; je mit Hinweisen).
3. Unter den gegebenen Umständen rechtfertigt es sich, auf die Erhebung von Kosten zu verzichten (Art. 66 Abs. 1 BGG), womit das Gesuch um unentgeltliche Rechtspflege gegenstandslos wird.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Zug, I. Abteilung, und dem Obergericht des Kantons Zug, Justizkommission, Strafrechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 16. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Mattle