Sachverhalt:
A. Im Rahmen des gegen Z._ laufenden Jugendstrafverfahrens ordnete die Jugendanwaltschaft Basel-Landschaft mit Verfügung vom 8. Februar 2012 vorsorglich eine stationäre Schutzmassnahme an. Die Eltern von Z._, X._ und Y._, erhoben gegen die Verfügung Beschwerde. Mit Beschluss vom 20. März 2012 wies das Kantonsgericht Basel-Landschaft das Rechtsmittel ab, soweit es darauf eintrat.
B. Mit Beschwerde in Strafsachen vom 16. Mai 2012 beantragen X._ und Y._, der Beschluss des Kantonsgerichts sei aufzuheben und Z._ aus der stationären Schutzmassnahme zu entlassen. Eventualiter sei die Sache zum neuen Entscheid an die Vorinstanz zurückzuweisen. Subeventualiter sei ihnen für das vorinstanzliche Verfahren die unentgeltliche Rechtspflege zu gewähren.
Das Kantonsgericht und die Jugendanwaltschaft beantragen in ihrer jeweiligen Vernehmlassung die Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Am 1. Januar 2011 sind die Schweizerische Strafprozessordnung (StPO; SR 312.0) und die Schweizerische Jugendstrafprozessordnung (JStPO; SR 312.1) in Kraft getreten. Der streitige erstinstanzliche Entscheid der Jugendanwaltschaft datiert vom 8. Februar 2012, der angefochtene Rechtsmittelentscheid vom 20. März 2012. Somit ist neues Recht (JStPO/StPO) anwendbar.
1.2 Gemäss <ref-law> beurteilt das Bundesgericht Beschwerden gegen Entscheide in Strafsachen. Ein kantonales Rechtsmittel steht nicht zur Verfügung (vgl. <ref-law>). Beim Beschluss des Kantonsgerichts handelt es sich um einen Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> bewirken kann. Die Beschwerdeführer nahmen vor der Vorinstanz am Verfahren teil und haben ein rechtlich geschütztes Interesse an der Aufhebung des angefochtenen Entscheids. Sie sind nach Art. 81 Abs. 1 lit. a und lit. b Ziff. 2 BGG zur Beschwerde berechtigt. Das Bundesgericht kann nach <ref-law> bei Gutheissung der Beschwerde in der Sache selbst entscheiden. Der Antrag auf Entlassung aus der vorsorglichen stationären Unterbringung ist deshalb zulässig. Auf die Beschwerde ist grundsätzlich einzutreten.
2. 2.1 Die Beschwerdeführer rügen eine Verletzung ihres Anspruchs auf rechtliches Gehör (<ref-law>). Das Kantonsgericht habe seinen Entscheid nicht hinreichend begründet, sondern einzig auf die Ausführungen der Jugendanwaltschaft verwiesen. Mit ihren Einwänden habe es sich nicht auseinandergesetzt. Zudem habe es auf ein jugendpsychologisches Gutachten vom 29. Februar 2012 abgestellt, von welchem sie keine Kenntnis gehabt hätten und welches ihnen bis heute nicht zugestellt worden sei. In diesem Zusammenhang sei zudem von Bedeutung, dass das Kantonsgericht ihnen auch nicht die Möglichkeit einer Replik einräumte, nachdem die Jugendanwaltschaft in ihrer Beschwerdeantwort im vorinstanzlichen Verfahren das Gutachten erstmals erwähnte.
2.2 Das rechtliche Gehör nach <ref-law> verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 S. 236 mit Hinweisen).
Das Kantonsgericht hat im angefochtenen Entscheid die Ausführungen der Beschwerdeführer und der Jugendanwaltschaft wiedergegeben und ist im Ergebnis der Ansicht der Jugendanwaltschaft gefolgt. Allein darin liegt keine Verletzung der Begründungsobliegenheit. Zudem hat sich das Kantonsgericht verschiedentlich mit der Kritik der Beschwerdeführer auseinandergesetzt. Diese weisen auf kein konkretes Vorbringen hin, welches das Kantonsgericht ausser Acht gelassen hätte (<ref-law>). Die Rüge der Beschwerdeführer ist deshalb insofern unbegründet, soweit darauf überhaupt einzutreten ist.
2.3 Nach der bundesgerichtlichen Rechtsprechung folgt aus dem Anspruch auf ein faires Verfahren und dem rechtlichen Gehör das Recht der Parteien, Einsicht in die Akten eines hängigen Verfahrens zu nehmen und sich dazu zu äussern (Art. 29 Abs. 1 und 2 BV, Art. 6 Ziff. 1 EMRK). Das Akteneinsichtsrecht bezieht sich grundsätzlich auf sämtliche verfahrensbezogenen Akten; ausgenommen sind praxisgemäss rein interne Akten, die ausschliesslich für die interne Meinungsbildung bestimmt sind und denen kein Beweischarakter zukommt (<ref-ruling> E. 4a S. 474 f. mit Hinweisen). Nicht erforderlich ist, dass die Akten den Entscheid in der Sache tatsächlich beeinflussen können. Die Einsicht in die Akten, die für ein bestimmtes Verfahren erstellt oder beigezogen wurden, kann demnach nicht mit der Begründung verweigert werden, die betreffenden Dokumente seien für den Verfahrensausgang belanglos; vielmehr muss es dem Betroffenen selber überlassen sein, die Relevanz der Akten zu beurteilen (<ref-ruling> E. 3.2 S. 389). Damit die Beteiligten die Möglichkeit haben, ein Akteneinsichtsgesuch zu stellen, müssen sie über den Beizug neuer entscheidwesentlicher Akten informiert werden. Dies gilt jedenfalls für Akten, welche sie nicht kennen und auch nicht kennen können (<ref-ruling> E. 6.2 S. 391 mit Hinweisen; zum Ganzen: Urteil 1C_88/2011 vom 15. Juni 2011 E. 3.4 mit Hinweisen).
Der angefochtene Entscheid stützt sich in zentralen Punkten auf das Gutachten vom 29. Februar 2012. Aus den Akten ergibt sich indessen kein Hinweis darauf, dass es den Beschwerdeführern jemals zugestellt worden ist oder dass diese über dessen Eingang in Kenntnis gesetzt worden sind. Weder das Kantonsgericht noch die Jugendanwaltschaft bestreiten in ihren Vernehmlassungen im bundesgerichtlichen Verfahren die Darstellung der Beschwerdeführer. Die Rüge der Gehörsverletzung ist deshalb begründet. Eine Heilung der Gehörsverletzung fällt angesichts der Bedeutung, die dem Gutachten im vorliegenden Verfahren zukommt, ausser Betracht. Der angefochtene Entscheid ist aufzuheben.
3. Die Beschwerde ist teilweise gutzuheissen und der angefochtene Entscheid aufzuheben. Die Angelegenheit wird zur Gewährung des rechtlichen Gehörs und zur beförderlichen Neubeurteilung an das Kantonsgericht zurückgewiesen. Da die Voraussetzungen der vorsorglichen Anordnung der stationären Schutzmassnahme nicht offensichtlich fehlen, kommt die Entlassung des Beschwerdeführers durch das Bundesgericht im jetzigen Zeitpunkt nicht in Betracht. Der entsprechende Antrag ist abzuweisen.
Bei diesem Ausgang des Verfahrens ist es gerechtfertigt, keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG) und den Kanton Basel-Landschaft zu verpflichten, den Beschwerdeführern eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG). Damit erweist sich deren Gesuch um unentgeltliche Rechtspflege als gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der angefochtene Beschluss aufgehoben. Die Sache wird zum neuen Entscheid an das Kantonsgericht zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Basel-Landschaft hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Beschwerdeführern, der Jugendanwaltschaft und dem Kantonsgericht Basel-Landschaft, Abteilung Strafrecht, schriftlich mitgeteilt.
Lausanne, 25. Juni 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold