Sachverhalt:
A. Die Staatsanwaltschaft Muri-Bremgarten führte gegen X._ eine Strafuntersuchung. Am 2. Dezember 2010 wurde dieser in Untersuchungshaft versetzt und seit dem 23. Juni 2011 befindet er sich im vorzeitigen Strafvollzug.
Am 22. März 2012 erhob die Staatsanwaltschaft beim Bezirksgericht Bremgarten Anklage gegen X._ insbesondere wegen Schändung (<ref-law>), wegen mehrfachen, gemeinsam von mehreren Personen ausgeführten sexuellen Handlungen mit Kindern (<ref-law> i.V.m. <ref-law>) und wegen mehrfacher, gemeinsam von mehreren Personen ausgeführter Pornografie (<ref-law> i.V.m. <ref-law>). Der Vorwurf der Schändung bezieht sich auf einen Vorfall im Jahr 2006, den Vorwürfen der sexuellen Handlungen mit Kindern und der Pornografie liegen zwei Vorfälle von Ende August 2009 respektive von Januar 2010 zugrunde. Die Staatsanwaltschaft beantragt eine Freiheitsstrafe von sechs Jahren.
Am 27. März 2012 stellte X._ ein Haftentlassungsgesuch. Das Zwangsmassnahmengericht des Kantons Aargau wies das Gesuch im Anschluss an die Verhandlung vom 5. April 2012 ab. Diesen Entscheid focht X._ mit Beschwerde vom 23. April 2012 beim Obergericht des Kantons Aargau an. Mit Entscheid vom 2. Mai wies dieses die Beschwerde ab (Dispositiv-Ziffer 1). Zugleich stellte es fest, X._ befinde sich nicht mehr im vorzeitigen Strafvollzug, sondern in Sicherheitshaft. Die Sicherheitshaft ordnete es einstweilen bis zum 27. Juni 2012 an (Dispositiv-Ziffer 2).
B. Gegen diesen Entscheid führt X._ mit Eingabe vom 6. Juni 2012 Beschwerde in Strafsachen ans Bundesgericht mit den Anträgen, den angefochtenen Entscheid aufzuheben und ihn unter Anordnung von Ersatzmassnahmen unverzüglich aus der Haft zu entlassen; es sei eine Schriftensperre zu erlassen, und er sei zu verpflichten, sich gemäss Weisung des Psychiatrischen Diensts des Kantons Aargau einer regelmässigen ambulanten Psychotherapie zu unterziehen.
Die Staatsanwaltschaft verzichtet auf eine Stellungnahme. Das Obergericht hat sich nicht vernehmen lassen.

Erwägungen:
1. Der angefochtene Beschluss der Vorinstanz betrifft die Fortsetzung des vorzeitigen Strafvollzugs respektive der Sicherheitshaft. Angefochten ist somit ein letztinstanzlicher kantonaler Entscheid in einer Strafsache, gegen den gemäss <ref-law> grundsätzlich die Beschwerde in Strafsachen offen steht. Nach <ref-law> ist die Beschwerde gegen den selbstständig eröffneten Zwischenentscheid zulässig, da die Fortsetzung der Haft einen nicht wieder gutzumachenden Nachteil bewirken kann (vgl. Urteil 1B_277/2011 vom 28. Juni 2011 E. 1.1). Der Beschwerdeführer ist gemäss <ref-law> beschwerdebefugt. Das Bundesgericht kann nach <ref-law> bei Gutheissung der Beschwerde in der Sache selbst entscheiden. Der Antrag auf Haftentlassung ist somit zulässig. Auf die Beschwerde ist einzutreten.
2. Eine sich im vorzeitigen Strafvollzug befindende beschuldigte Person ist berechtigt, jederzeit ein Begehren um Entlassung aus der Haft bzw. dem vorzeitigen Strafvollzug zu stellen. Da dieser Vollzug seine Grundlage nicht in einem rechtskräftigen gerichtlichen Urteil hat, kann er gegen den Willen der betroffenen Person nur so lange gerechtfertigt sein, als die Voraussetzungen für die Fortsetzung der Untersuchungs- oder Sicherheitshaft gegeben sind (Urteil 1B_538/2011 vom 17. Oktober 2011 E. 2).
Nach <ref-law> sind Untersuchungs- und Sicherheitshaft zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ernsthaft zu befürchten ist, dass sie sich durch Flucht dem Strafverfahren oder der zu erwartenden Sanktion entzieht (lit. a), Personen beeinflusst oder auf Beweismittel einwirkt, um so die Wahrheitsfindung zu beeinträchtigen (lit. b), oder durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Straftaten verübt hat (lit. c). Haft ist auch zulässig, wenn ernsthaft zu befürchten ist, eine Person werde ihre Drohung, ein schweres Verbrechen auszuführen, wahrmachen (<ref-law>).
Die Auslegung und die Anwendung der im Bundesrecht geregelten Voraussetzungen für die mit strafprozessualen Zwangsmassnahmen einhergehenden Grundrechtsbeschränkungen prüft das Bundesgericht mit freier Kognition (<ref-law>; Urteile 1B_579/2011 vom 1. November 2011 E. 2 und 1B_126/2011 vom 6. April 2011 E. 2, nicht publ. in: <ref-ruling>; je mit Hinweisen). Soweit jedoch reine Sachverhaltsfragen und damit Fragen der Beweiswürdigung zu beurteilen sind, greift das Bundesgericht nur ein, wenn die tatsächlichen Feststellungen der Vorinstanz offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (Art. 97 Abs. 1 i.V.m. <ref-law>).
3. Der Beschwerdeführer bestreitet den dringenden Tatverdacht, soweit die Vorwürfe betreffend sexuelle Handlungen mit Kindern und Pornografie, nicht. Er ist geständig, sexuelle Handlungen mit einer minderjährigen Person begangen und pornografisches Material hergestellt und besessen zu haben. Ob auch hinsichtlich des Tatbestands der Schändung von einem dringenden Tatverdacht auszugehen ist, was vom Beschwerdeführer bestritten wird und im angefochtenen Entscheid nicht thematisiert worden ist, kann offen bleiben, da die Beschwerde ohnehin abzuweisen ist.
4. Der Beschwerdeführer rügt, die Vorinstanz habe den besonderen Haftgrund der Wiederholungsgefahr zu Unrecht bejaht.
4.1 Wiederholungsgefahr liegt vor, wenn ernsthaft zu befürchten ist, dass die beschuldigte Person durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Straftaten verübt hat (<ref-law>). Nach der Praxis des Bundesgerichts kann die Anordnung bzw. Fortsetzung von strafprozessualer Haft wegen Wiederholungsgefahr dem Verfahrensziel der Beschleunigung dienen, indem verhindert wird, dass sich der Strafprozess durch immer neue Delikte kompliziert und in die Länge zieht. Auch die Wahrung des Interesses an der Verhütung weiterer schwerwiegender Delikte ist nicht verfassungs- und grundrechtswidrig. Vielmehr anerkennt Art. 5 Ziff. 1 lit. c EMRK ausdrücklich die Notwendigkeit, Beschuldigte an der Begehung strafbarer Handlungen zu hindern, somit Spezialprävention, als Haftgrund (<ref-ruling> E. 3.2 S. 85 mit Hinweisen). Bei der Annahme, dass eine beschuldigte Person weitere schwere Delikte begehen könnte, ist allerdings Zurückhaltung geboten. Da Präventivhaft einen schwerwiegenden Eingriff in das Recht der persönlichen Freiheit darstellt, muss sie auf einer hinreichenden gesetzlichen Grundlage beruhen, im öffentlichen Interesse liegen und verhältnismässig sein. Die Aufrechterhaltung von strafprozessualer Haft wegen Wiederholungsgefahr ist nach der bundesgerichtlichen Praxis zulässig, wenn einerseits die Rückfallprognose sehr ungünstig und anderseits die zu befürchtenden Delikte von schwerer Natur sind. Die rein hypothetische Möglichkeit der Verübung weiterer Delikte sowie die Wahrscheinlichkeit, dass nur geringfügige Straftaten verübt werden, reichen dagegen nicht aus, um Präventivhaft zu begründen. Schliesslich gilt auch bei der Präventivhaft - wie bei den übrigen Haftarten - dass sie nur als "ultima ratio" angeordnet oder aufrecht erhalten werden darf (<ref-ruling> E. 2.3 S. 73).
4.2 Die Vorinstanz bejaht den besonderen Haftgrund der Wiederholungsgefahr insbesondere unter Verweis auf die Schlussfolgerungen im forensisch-psychiatrischen Gutachten der Psychiatrischen Dienste Aargau AG und der Psychiatrischen Klinik Königsfelden vom 19. Januar 2012. Die Vorinstanz betont, gemäss Gutachten sei beim Beschwerdeführer sowohl von einer hohen Wahrscheinlichkeit erneuter sexueller Handlungen mit Kindern als auch von einer hohen Wahrscheinlichkeit des Konsums und der Herstellung illegaler Pornografie auszugehen. Aufgrund der hohen Wahrscheinlichkeit eines Rückfalls liege beim Beschwerdeführer eine sehr ungünstige Rückfallprognose vor.
4.3 Der Beschwerdeführer macht geltend, das forensisch-psychiatrische Gutachten vom 19. Januar 2012 basiere auf einer fehlerhaften Auswertung der testpsychologischen Fragebögen (SVR 20 und SORAG) mit der Folge, dass fälschlicherweise von einer hohen Wahrscheinlichkeit eines Rückfalls ausgegangen worden sei. Zudem präsentiere sich seine persönliche Situation nicht so, wie von den Gutachtern unterstellt. Für den Fall der Haftentlassung stünden ihm eine Arbeitsstelle und eine Wohnung offen. Von nachteiligen Lebensumständen, welche zu einer erhöhten Rückfallgefahr führten, könne mithin nicht gesprochen werden. Selbst wenn aber auf die Einschätzung im Gutachten, wonach eine "hohe Wahrscheinlichkeit" eines Rückfalls bestehe, abgestellt werde, so könne daraus nicht auf eine "sehr ungünstige Rückfallprognose" im Sinne der bundesgerichtlichen Rechtsprechung, sondern (bloss) auf eine "ungünstige Rückfallgefahr" geschlossen werden, was zur Bejahung des besonderen Haftgrunds der Wiederholungsgefahr gerade nicht ausreiche. Dieser Haftgrund sei aber auch deshalb zu verneinen, weil die gesetzliche Voraussetzung, dass durch die Begehung von Verbrechen oder schweren Vergehen die Sicherheit anderer erheblich gefährdet wird, nicht erfüllt sei. Beim Tatbestand der Pornografie sei diese Gefährdung ohnehin zu verneinen, und die sexuellen Handlungen mit einer minderjährigen Person seien einvernehmlich erfolgt, habe er doch weder Gewalt angewendet noch gedroht. Die ihm vorgeworfenen Delikte erfüllten deshalb die vorausgesetzte Schwere zur Rechtfertigung von Präventivhaft nicht.
4.4 Gemäss dem forensisch-psychiatrischen Gutachten vom 19. Januar 2012 ist beim Beschwerdeführer von einer heterosexuell ausgerichteten Pädophilie (ICD-10 F65.4) und einem Voyeurismus (ICD-10 F65.3) auszugehen (Gutachten, S. 55). Dabei handelt es sich um zeitlich überdauernde und schwerwiegende Störungen im Sinne einer abweichenden sexuellen Präferenz (Gutachten, S. 73). Die Rückfallgefahr wird bejaht und präzisierend ausgeführt, es sei "mit einer hohen Wahrscheinlichkeit mit erneuten sexuellen Handlungen an Kindern oder Frauen und mit dem Konsum und der Herstellung illegaler Pornographie zu rechnen" (Gutachten, S. 74). Weiter halten die Gutachter fest (Gutachten, S. 74): "Die Gefahr, neuerliche Straftaten zu begehen, besteht sowohl auf Grund der festgestellten psychischen Störungen im Sinne einer Pädophilie und eines Voyeurismus, als auch auf Grund der Lebensumstände wegen Arbeitslosigkeit und finanziellen Schwierigkeiten (Schulden)."
Der Beschwerdeführer kritisiert diese Schlussfolgerungen. Die Würdigung des (umfangreichen) Gutachtens ist indessen in erster Linie Aufgabe des erstinstanzlichen Gerichts, dessen Entscheid im Haftprüfungsverfahren nicht vorzugreifen ist (vgl. Urteil 1B_423/2011 vom 14. September 2011 E. 5.2). Auf die in der Beschwerde vorgebrachte Kritik an den testpsychologischen Untersuchungsverfahren (SVR 20 und SORAG) ist daher nicht einzugehen. Gleiches gilt, soweit der Beschwerdeführer die Resultate des Gutachtens mit dem Einwand in Frage zu stellen versucht, der ihn seit Monaten behandelnde Gefängnispsychologe sei bloss von einer "im leichten bis mittleren Ausmass erhöhten Gefährdung zu weiteren gleichartigen Straftaten" ausgegangen. Die Vorinstanz ist vorliegend nicht in Willkür verfallen, indem sie bei der Beurteilung der Wiederholungsgefahr massgeblich auf die Einschätzungen im Gutachten abgestellt hat. Demgemäss wird die Gefahr neuerlichen gewalttätigen Handelns als hoch eingestuft. Dass die Gutachter dabei von "hoch" sprechen und nicht, wie es der juristischen Auslegung von <ref-law> entspricht, von einer "sehr ungünstigen Rückfallprognose", ist nicht massgebend (vgl. Urteil 1B_579/2011 vom 1. November 2011 E. 3.3.4). An der sehr ungünstigen Prognose ändert auch das Vorbringen des Beschwerdeführers nichts, im Fall einer Haftentlassung könne er eine eigene Wohnung beziehen und eine Arbeitsstelle antreten (vgl. insoweit auch Urteil 1B_538/2011 vom 17. Oktober 2011 E. 3.3). Im forensisch-psychiatrischen Gutachten vom 19. Januar 2012 werden zwar auch (angeblich) nachteilige Lebensumstände (Arbeitslosigkeit und Schulden) angeführt. Wie die Vorinstanz jedoch willkürfrei gefolgert hat, ergibt sich die sehr ungünstige Rückfallprognose des Beschwerdeführers bereits aufgrund der festgestellten psychischen Störungen im Sinne einer Pädophilie und eines Voyeurismus.
Auch soweit der Beschwerdeführer in diesem Zusammenhang geltend macht, die ihm vorgeworfenen Taten seien - anders als Gewaltdelikte - nicht schwer genug, um eine Wiederholungsgefahr zu begründen, ist die Beschwerde abzuweisen. Nach dem Wortlaut von <ref-law> können sämtliche schweren Vergehen, welche die Sicherheit anderer erheblich gefährden, eine Wiederholungsgefahr begründen. Weder der Botschaft (Botschaft des Bundesrats zur Vereinheitlichung des Strafprozessrechts vom 21. Dezember 2006, BBl 2006 1085 ff., insb. 1229) noch den parlamentarischen Beratungen (vgl. insbesondere Amtliche Bulletins Ständerat 2006 1027 und Nationalrat 2007 966) lassen sich Hinweise entnehmen, dass eine Einschränkung der zu befürchtenden Straftaten auf Delikte gegen Leib und Leben beabsichtigt worden ist (Urteil 1B_126/2011 vom 6. April 2011 E. 3.7, nicht publiziert in <ref-ruling>; vgl. auch Urteil 1B_538/2011 vom 17. Oktober 2011 E. 3.4). Beim Tatbestand der sexuellen Handlungen mit Kindern handelt es sich um ein Verbrechen (Art. 187 Ziff. 1 i.V.m. <ref-law>), welches zweifelsohne die Sicherheit anderer - nämlich jene von Kindern unter 16 Jahren - erheblich gefährdet (vgl. insoweit Urteil 1B_397/2011 vom 29. August 2011 E. 6.3.1).
Klarstellend ist ferner darauf hinzuweisen, dass die Vorinstanz entgegen der Behauptung des Beschwerdeführers die Sicherheitshaft nicht auf "unbestimmte Zeit", sondern zeitlich befristet bis zum 27. Juni 2012 angeordnet hat.
Zusammenfassend ist damit festzuhalten, dass - in Übereinstimmung mit der Einschätzung der Vorinstanz - die Rückfallprognose sehr ungünstig ausfällt. Zudem sind die im Fall einer Haftentlassung zu befürchtenden Delikte schwerer Natur und gefährden die Sicherheit anderer erheblich. Der besondere Haftgrund der Wiederholungsgefahr im Sinne von <ref-law> ist gegeben.
5. 5.1 Der Beschwerdeführer rügt, die Haft sei unverhältnismässig, denn diese liesse sich durch mildere Massnahmen ersetzen. Als Ersatzmassnahme sei er zu verpflichten, sich gemäss Weisung des Psychiatrischen Diensts des Kantons Aargau einer regelmässigen ambulanten Psychotherapie zu unterziehen.
5.2 Demgegenüber ist nach Auffassung der Vorinstanz eine ambulante Psychotherapie nicht geeignet, der Gefahr der Begehung weiterer schwerer Straftaten wirksam zu begegnen. Die Entlassung aus der Sicherheitshaft käme nach der Einschätzung der Vorinstanz einem nicht verantwortbaren Risiko zulasten möglicher Opfer gleich.
5.3 Gemäss <ref-law> ordnet das zuständige Gericht an Stelle der Untersuchungs- oder Sicherheitshaft eine oder mehrere mildere Massnahmen an, wenn sie den gleichen Zweck wie die Haft erfüllen. Abs. 2 derselben Bestimmung enthält eine nicht abschliessende Aufzählung möglicher Ersatzmassnahmen wie insbesondere die Auflage, sich einer ärztlichen Behandlung oder einer Kontrolle zu unterziehen (lit. f). Ersatzmassnahmen fallen in Betracht, wenn die Wiederholungsgefahr zwar gegeben ist, das Risiko eines Rückfalls sich aber durch ein milderes Mittel als die Haft massgeblich beschränken lässt (vgl. etwa <ref-ruling>).
5.4 Die Vorinstanz hat in ihren Erwägungen verschiedentlich auf das forensisch-psychiatrische Gutachten Bezug genommen und - wenn auch eher knapp - explizit begründet, weshalb sie Ersatzmassnahmen als unzureichend einstuft. Eine Verletzung der Begründungspflicht als Ausfluss des Anspruchs des Beschwerdeführers auf rechtliches Gehör liegt entgegen den Ausführungen in der Beschwerde nicht vor.
5.5 Nach dem forensisch-psychiatrischen Gutachten vom 19. Januar 2012 gibt es für die festgestellten Störungen im Sinne einer Pädophilie und eines Voyeurismus keine spezifische Behandlung. Das Rückfallrisiko lasse sich gegebenenfalls - nicht in jedem Fall - mit einer verhaltenstherapeutischen, deliktsorientierten Behandlung senken. Diese beinhalte eine über Jahre fortgeführte, engmaschige ambulante Psychotherapie und gegebenenfalls eine symptomatische pharmakotherapeutische Unterstützung. Um beim Beschwerdeführer eine Verbesserung der ungünstigen Legalprognose zu erreichen, sei eine therapeutische Massnahme angezeigt und die Behandlungsbedürftigkeit in diesem Sinn eindeutig gegeben. Zur Zeit sei eine ambulante Massnahme i.S.v. <ref-law> zweckmässig. Sollte sich diese im weiteren Verlauf als unzureichend erweisen, sollte die Notwendigkeit einer stationären Massnahme i.S.v. <ref-law> erwogen werden. Geeignete Institutionen seien vorhanden. Die ambulante Behandlung könne auch im Rahmen des Strafvollzugs durchgeführt werden (Gutachten, S. 75).
Dass eine ambulante Psychotherapie (im Sinne von Art. 237 Abs. 2 lit. f StPO) unter Umständen erfolgreich sein könnte, lässt sich damit zwar nicht von vornherein ausschliessen. Um das Rückfallrisiko gegebenenfalls senken zu können, ist nach Auffassung der Gutachter aber eine über Jahre fortgeführte, engmaschige ambulante Therapie erforderlich. Die vom Beschwerdeführer beantragte Ersatzmassnahme erscheint damit kurzfristig nicht geeignet, eine Verbesserung der sehr ungünstigen Legalprognose zu erreichen respektive die bestehende Wiederholungsgefahr massgeblich zu beschränken.
6. Die Beschwerde ist abzuweisen. Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen:
2.1 Es werden keine Gerichtskosten erhoben.
2.2 Rechtsanwalt Roger Seiler wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Muri-Bremgarten und dem Obergericht des Kantons Aargau, Beschwerdekammer in Strafsachen, schriftlich mitgeteilt.
Lausanne, 25. Juni 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner