Sachverhalt:
A. Am 22. März 2011 beantragte die Staatsanwaltschaft Basel-Landschaft beim Zwangsmassnahmengericht Basel-Landschaft die Verlängerung der Untersuchungshaft von X._. Am 4. April 2011 stellte X._ bei der Staatsanwaltschaft ein Gesuch um Bewilligung des vorzeitigen Strafvollzugs. Am 5. April 2011 verlängerte das Zwangsmassnahmengericht die Untersuchungshaft für die Dauer von acht Wochen bis zum 5. Juni 2011. Am 18. April 2001 erhob X._ gegen diesen Entscheid Beschwerde an das Kantonsgericht Basel-Landschaft.
B. Am 20. April 2011 erteilte die Staatsanwaltschaft X._ die Bewilligung zum vorzeitigen Strafvollzug, woraufhin er am 3. Mai 2011 in den vorzeitigen Strafvollzug verlegt wurde.
C. Auf die Beschwerde gegen die Verlängerung der Untersuchungshaft trat das Kantonsgericht mit Beschluss vom 10. Mai 2011 nicht ein. Gegen diesen Beschluss gelangt X._ mit Beschwerde in Strafsachen ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und er aus der Untersuchungshaft bzw. dem vorläufigen Strafvollzug zu entlassen. Eventualiter sei die Angelegenheit zur neuen Entscheidung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
D. Die Vorinstanz beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Staatsanwaltschaft beantragt die Abweisung der Beschwerde.
E. Mit Stellungnahme vom 30. Mai 2011 hält der Beschwerdeführer an seinen Anträgen fest.

Erwägungen:
1. Angefochten ist der Beschluss vom 10. Mai 2011, mit welchem das Kantonsgericht auf die Beschwerde gegen den Haftverlängerungsentscheid des Zwangsmassnahmengerichts vom 5. April 2011 nicht eingetreten ist. Die Beschwerde ist nur im Rahmen des Streitgegenstands zulässig. Dieser wird durch den Gegenstand des angefochtenen Entscheids und die Parteibegehren bestimmt, wobei der angefochtene Entscheid den möglichen Streitgegenstand begrenzt (<ref-ruling> E. 3.3 S. 189). Gegenstand des vorliegenden Verfahrens kann somit nur die Frage bilden, ob die Vorinstanz auf die Beschwerde hätte eintreten müssen. Soweit der Beschwerdeführer vorbringt, die Voraussetzungen für die Fortsetzung von Untersuchungshaft gemäss Art. 221 Abs. 1 der Schweizerischen Strafprozessordnung vom 5. Oktober 2007 (StPO; SR 312.0) seien nicht gegeben, liegt diese Rüge ausserhalb des durch den angefochtenen Nichteintretensentscheid begrenzten Streitgegenstands und ist auf die Beschwerde von vornherein nicht einzutreten.
2. Grundsätzlich stand dem Beschwerdeführer nach Art. 222 i.V.m. <ref-law> gegen den Entscheid des Zwangsmassnahmengerichts vom 5. April 2011 die Beschwerde an die Vorinstanz offen. Umstritten ist indessen, ob der Beschwerdeführer zum Zeitpunkt des vorinstanzlichen Entscheids noch ein rechtlich geschütztes Interesse im Sinne von <ref-law> an der Aufhebung oder Änderung des Haftverlängerungsentscheids hatte, nachdem er in der Zwischenzeit vorzeitig den Strafvollzug angetreten hatte, der ihm von der Staatsanwaltschaft in Anwendung von <ref-law> gewährt worden war.
2.1 Soll eine Person länger als vom Zwangsmassnahmengericht angeordnet (vgl. <ref-law>) oder länger als drei Monate in Untersuchungshaft bleiben, hat die Staatsanwaltschaft beim Zwangsmassnahmengericht von Amtes wegen ein Haftverlängerungsgesuch zu stellen (<ref-law>). Das Zwangsmassnahmengericht hat diesfalls in Anwendung von Art. 227 Abs. 2 ff. darüber zu befinden, ob die Voraussetzungen für eine Fortdauer der Untersuchungshaft noch erfüllt sind. Da die Untersuchungshaft gemäss <ref-law> mit dem vorzeitigen Antritt einer freiheitsentziehenden Sanktion endet, gelangt <ref-law> nicht (mehr) zur Anwendung, wenn eine sich zuvor in Untersuchungshaft befindende Person vorzeitig ihre Strafe antritt. Ein analoges Verfahren, in welchem das Zwangsmassnahmengericht nach dem vorzeitigen Antritt des Strafvollzugs der beschuldigten Person von Amtes wegen periodisch darüber zu befinden hätte, ob die Haftvoraussetzungen noch erfüllt sind, sieht die Schweizerische Strafprozessordnung nicht vor (vgl. Donatsch/Hansjakob/Lieber, Kommentar zur Schweizerischen Strafprozessordnung [StPO], 2010, Art. 236 N. 4). Ein allenfalls laufendes Verfahren gemäss <ref-law> kann demzufolge gegenstandslos werden, wenn die sich in Untersuchungshaft befindende Person vorzeitig ihre Strafe antritt und das Interesse an der Überprüfung der Haftvoraussetzungen verliert. Ein Verlust des Rechtsschutzinteresses ist jedoch nicht zwingend. Der Häftling kann weiterhin in erster Linie die Entlassung aus der Haft anstreben und die Strafe vorzeitig antreten, weil er beispielsweise für den Fall des Scheiterns seiner Entlassungsbemühungen das Strafvollzugsregime vorzieht (vgl. zur Haft während der Strafverfolgung und im Strafvollzug <ref-ruling> E. 1c und d S. 76 ff.).
2.2 Die Untersuchungshaft des Beschwerdeführers endete nach dem Gesagten am 3. Mai 2011 mit dem vorzeitigen Antritt des Strafvollzugs. Damit stellte sich für die Vorinstanz die Frage der Gegenstandslosigkeit des seinerzeit von der Staatsanwaltschaft von Amtes wegen eingeleiteten Verfahrens nach <ref-law>.
Das Bundesgericht hat allerdings schon mehrmals Haftentlassungsbegehren materiell beurteilt, auch wenn die rechtliche Basis der Haft im Verlaufe des bei ihm hängigen Beschwerdeverfahrens geändert hatte (Urteil 1B_25/2011 vom 14. März 2011 E. 1.2 [Anordnung von Sicherheitshaft nach Anklageerhebung bei vorbestehender Untersuchungshaft]; Urteil 1B_9/2011 vom 7. Februar 2011 E. 1 [Ablösung einer altrechtlichen Untersuchungshaft durch Sicherheitshaft nach dem erstinstanzlichen Urteil]). Es hat sich bei diesem Vorgehen namentlich von den gesetzes- und verfassungsrechtlichen Vorgaben an das Beschleunigungsgebot (<ref-law>, <ref-law>, Art. 5 Ziff. 4 EMRK) und von prozessökonomischen Überlegungen leiten lassen (vgl. <ref-ruling> E. 1.3 S. 276). Insoweit ist die Rüge des Beschwerdeführers, es führe zu unnötigen und zeitraubenden Weiterungen, wenn an Stelle des bereits hängigen Rechtsstreits um Verweigerung der Haftverlängerung ein neues Haftentlassungsverfahren angehoben werden müsse, nicht unbegründet. Zu beachten ist aber, dass das Bundesgericht bzw. die kantonalen Behörden in den vergleichbaren Fällen über die verschiedenen parallel laufenden Demarchen orientiert und auf dem Laufenden gehalten wurden, was Voraussetzung für eine beschleunigte und optimierte Verfahrensabwicklung ist.
Es obliegt grundsätzlich den für die Verfahrensleitung zuständigen Behörden (<ref-law>), das Bundesgericht während des hängigen Beschwerdeverfahrens über neue Entscheide wie etwa betreffend den vorzeitigen Strafantritt oder die Weiterführung oder Beendigung der Untersuchungshaft zu informieren. Zudem kann auch vom Beschwerdeführer im bundesgerichtlichen Verfahren erwartet werden, dass er das Bundesgericht über seine Eingaben an die zuständigen Behörden orientiert, soweit sie für die Behandlung der beim Bundesgericht eingereichten Beschwerde relevant sein können.
2.3 An dieser in guten Treuen vorauszusetzenden Mitwirkung im Verfahren hat es der anwaltlich vertretene Beschwerdeführer fehlen lassen. Er hat bereits in seiner Vernehmlassung an das Zwangsmassnahmengericht vom 31. März 2011 nicht darauf hingewiesen, dass er in den nächsten Tagen ein Gesuch um vorzeitigen Strafantritt stellen werde. Auch in der Beschwerde gegen den Entscheid des Zwangsmassnahmengerichts an die Vorinstanz vom 18. April 2011 hat er das laufende Gesuchsverfahren um vorzeitigen Strafantritt verschwiegen. Die Vorinstanz hat davon - und vom kurz bevorstehenden Eintritt in eine Vollzugsanstalt - erst durch einen Hinweis in der Vernehmlassung der Staatsanwaltschaft vom 27. April 2011 erfahren. Auch wenn in dieser Situation wohl eine Rückfrage beim Beschwerdeführer zu seinem aktuellen Rechtsschutzinteresse angezeigt gewesen wäre, wenn die Vorinstanz diesbezüglich Zweifel hatte, hat der Beschwerdeführer die sich aus mangelnder Information ergebenden Weiterungen und Verfahrensverzögerungen doch zumindest mitverursacht. Er hat zudem in der Beschwerde gegen den Nichteintretensentscheid der Vorinstanz an das Bundesgericht mit keinem Wort erwähnt, dass er gleichentags ein Haftentlassungsgesuch bei der Staatsanwaltschaft eingereicht hat. Dieses wurde vom Zwangsmassnahmengericht Basel-Landschaft am 27. Mai 2011, während der Rechtshängigkeit des Beschwerdeverfahrens vor dem Bundesgericht, abschlägig beurteilt, was der Beschwerdeführer dem Bundesgericht in seinen Schlussbemerkungen vom 30. Mai 2011 wiederum nicht mitteilte. In der Folge ist der Beschwerdeführer im Parallelverfahren mit Beschwerde vom 6. Juni 2011 an das Kantonsgericht gelangt und hat den Verfahrensantrag gestellt, das Beschwerdeverfahren bis zum Entscheid des Bundesgerichts zu sistieren.
2.4 Wenn das Bundesgericht die vorliegende Beschwerde gutheissen würde, so müsste es den angefochtenen Entscheid aufheben und die Angelegenheit zur materiellen Beurteilung des Begehrens um Haftbeendigung an das Kantonsgericht zurückweisen (vgl. E. 1 hiervor). Vor dieser Instanz hat der Beschwerdeführer aber bereits ein Beschwerdeverfahren um Haftentlassung anhängig gemacht, das er bis zum Ergehen des bundesgerichtlichen Urteils hat einstellen lassen. Er hat somit selber für die Verzögerung seines Begehrens um Beendigung der Haft durch die Vorinstanz gesorgt und das Zuwarten zurzeit selbst zu verantworten. Seine mangelhafte Mitwirkung hat zudem zur Folge, dass sich Doppelspurigkeiten und unnötige Weitläufigkeiten ergeben haben, was den Interessen der Prozessökonomie, die bei korrektem Vorgehen für den Einwand des Beschwerdeführers sprechen würden (vgl. oben E. 2.2), zuwiderläuft.
Da der Beschwerdeführer vor dem Bundesgericht höchstens eine Rückweisung an die Vorinstanz, bei der er bereits ein inhaltlich gleiches Begehren anhängig gemacht hat, erreichen kann, hat das bundesgerichtliche Urteil für ihn keinen praktischen Nutzen. Es fehlt ihm daher ein aktuelles Rechtsschutzinteresse an der Beurteilung seiner Beschwerde; dieses ist während der Rechtshängigkeit des Verfahrens vor dem Bundesgericht dahingefallen. Da das Bundesgericht das Rechtsschutzinteresse als Prozessvoraussetzung von Amtes wegen (vgl. <ref-law>) und aufgrund der Gegebenheiten im Urteilszeitpunkt prüft, sind die vom Beschwerdeführer aufforderungsgemäss eingereichten Unterlagen betreffend das Parallelverfahren um Haftentlassung zu berücksichtigen und kommt das Novenverbot (vgl. <ref-law>) insoweit nicht zum Tragen.
3. Die Beschwerde ist nach dem Gesagten als gegenstandslos abzuschreiben. Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Da die gesetzlichen Voraussetzungen erfüllt sind (vgl. Art. 64 Abs. 1 und 2 BGG), ist dem Begehren stattzugeben.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird als gegenstandslos abgeschrieben.
2. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1 Es werden keine Gerichtskosten erhoben.
2.2 Advokat Nicolas Roulet wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'200.-- entschädigt.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft und dem Kantonsgericht Basel-Landschaft, Abteilung Strafrecht, schriftlich mitgeteilt.
Lausanne, 24. Juni 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Mattle