Sachverhalt:
A.
A.a. Die Staatsanwaltschaft Brugg-Zurzach führt ein Strafverfahren gegen A._ wegen des Verdachts der qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz, der Schändung, der sexuellen Nötigung, der Körperverletzung, des Herstellens von Pornografie, der Widerhandlung gegen das Waffengesetz, der Urkundenfälschung, der Verletzung des Geheim- und Privatbereichs durch Aufnahmegeräte und der Vernachlässigung von Unterhaltspflichten. Hinsichtlich der Sexualdelikte wirft sie ihm im Wesentlichen vor, verschiedenen Frauen, die er teilweise im Internet kennengelernt habe, Geld für die Einnahme eines Medikaments (Rohypnol) versprochen zu haben. Die Frauen hätten das Medikament eingenommen, ohne zu wissen, um was es sich tatsächlich handelte. Danach seien sie in einen tiefen Betäubungszustand geraten, worauf A._ verschiedene sexuelle Handlungen an ihnen vorgenommen und dies gefilmt habe.
A.b. Das Zwangsmassnahmengericht des Kantons Aargau versetzte A._ am 24. März 2014 wegen Kollusions- und Wiederholungsgefahr in Untersuchungshaft. Es verlängerte die Haft in der Folge mehrmals, erneut mit Verfügung vom 19. März 2015 bis zum 20. Juni 2015. Dagegen erhob A._ Beschwerde. Mit Entscheid vom 19. Mai 2015 wies das Obergericht des Kantons Aargau das Rechtsmittel ab. Es bejahte sowohl Kollusions- als auch Wiederholungsgefahr. Am 14. Juli 2015 wies das Bundesgericht eine dagegen erhobene Beschwerde ab, wobei es die Wiederholungsgefahr bejahte, jedoch offen liess, ob auch Kollusionsgefahr vorliege (Urteil 1B_221/2015).
A.c. Seit dem 16. Juni 2015 befindet sich A._ im vorzeitigen Strafvollzug.
B.
B.a. Am 17. Februar 2016 stellte A._ bei der Staatsanwaltschaft Brugg-Zurzach ein Gesuch um Entlassung aus dem vorzeitigen Strafvollzug, eventuell unter Anordnung von Ersatzmassnahmen. Die Staatsanwaltschaft beantragte am 22. Februar 2016 beim Zwangsmassnahmengericht des Kantons Aargau die Abweisung des Gesuchs und die Weiterführung des vorzeitigen Strafvollzugs. Mit Entscheid vom 9. März 2016 wies das Zwangsmassnahmengericht das Gesuch ab.
B.b. Am gleichen Tag, d.h. ebenfalls am 9. März 2016, eröffnete die Staatsanwaltschaft Brugg-Zurzach im Strafverfahren den Verfahrensabschluss und teilte den Verfahrensbeteiligten mit, dass sie beabsichtige, gegen A._ Anklage zu erheben.
B.c. A._ führte gegen die Verfügung des Zwangsmassnahmengerichts vom 9. März 2016 Beschwerde beim Obergericht des Kantons Aargau. Dessen Beschwerdekammer in Strafsachen wies die Beschwerde am 26. April 2016 ab, wobei es weiterhin vom Vorliegen von Kollusions- und Wiederholungsgefahr ausging.
C.
Mit Beschwerde vom 30. Mai 2016 an das Bundesgericht beantragt A._, die Verfügung des Zwangsmassnahmengerichts aufzuheben und ihn unverzüglich aus dem vorzeitigen Strafvollzug zu entlassen, eventuell unter Anordnung geeigneter Ersatzmassnahmen. Subeventuell wird um Rückweisung an eine der Vorinstanzen zu ergänzender Sachverhaltsabklärung ersucht. Zur Begründung macht A._ im Wesentlichen geltend, Kollusions- und Wiederholungsgefahr lägen nicht mehr vor. In prozessualer Hinsicht stellt er ein Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Die Staatsanwaltschaft Brugg-Zurzach schliesst ohne weitere Ausführungen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Das Obergericht verzichtete auf eine Stellungnahme. Weitere Rechtsschriften gingen beim Bundesgericht nicht mehr ein.

Erwägungen:
1.
1.1. Nach <ref-law> kann die beschuldigte Person jederzeit ein Gesuch um Entlassung aus der Haft bzw. aus dem vorzeitigen Strafvollzug stellen. Gegen den wie hier kantonal letztinstanzlichen Entscheid (vgl. <ref-law> und <ref-law>) über ein solches Gesuch steht die Beschwerde in Strafsachen an das Bundesgericht nach <ref-law> offen. Der Beschwerdeführer ist als Gesuchsteller und direkt betroffener Adressat des angefochtenen Entscheides nach <ref-law> zur Beschwerde berechtigt.
1.2. Mit der Beschwerde in Strafsachen an das Bundesgericht kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Bei Beschwerden, die gestützt auf das Recht der persönlichen Freiheit (Art. 10 Abs. 2, Art. 31 BV) wegen strafprozessualer Haft erhoben werden, prüft das Bundesgericht im Hinblick auf die Schwere des Eingriffs die Auslegung und Anwendung der StPO frei (<ref-ruling> E. 1.2 S. 189; <ref-ruling> E. 2 S. 125; 340 E. 2.4 S. 346).
1.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es ist nicht ersichtlich, dass das Obergericht den Sachverhalt offensichtlich unrichtig oder unvollständig erhoben hätte oder dass die Sachverhaltsfeststellungen an einem massgeblichen qualifizierten Mangel litten.
2.
2.1. Gemäss <ref-law> kann die Verfahrensleitung der beschuldigten Person bewilligen, Freiheitsstrafen vorzeitig anzutreten, sofern der Stand des Verfahrens es erlaubt. Der vorzeitige Strafantritt stellt seiner Natur nach eine strafprozessuale Zwangsmassnahme auf der Schwelle zwischen Strafverfolgung und Strafvollzug dar und dauert bis zur Rechtskraft des Strafurteils. Er soll ermöglichen, dass der beschuldigten Person bereits vor einer rechtskräftigen Urteilsfällung verbesserte Chancen auf Resozialisierung im Rahmen des Strafvollzugs geboten werden können (<ref-ruling> E. 3.2.1 S. 277). Für eine Fortdauer der strafprozessualen Haft in den Modalitäten des vorzeitigen Strafvollzugs müssen die Haftvoraussetzungen weiterhin erfüllt sein.
2.2. Nach den Grundvoraussetzungen von <ref-law> ist Sicherheitshaft insbesondere nur zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ein im Gesetz genannter Haftgrund vorliegt. Dazu zählen namentlich die sog. Kollusionsgefahr (<ref-law>) und die Wiederholungsgefahr (<ref-law>).
Der Beschwerdeführer bestreitet den dringenden Tatverdacht im Wesentlichen nicht. Er macht aber geltend, es liege weder Kollusions- noch Wiederholungsgefahr vor. Wie bereits im früheren bundesgerichtlichen Verfahren (vgl. das Urteil 1B_221/2015 vom 14. Juli 2015) ist vorweg zu prüfen, ob Wiederholungsgefahr gegeben ist. Trifft dies zu, kann offen bleiben, ob auch Kollusionsgefahr vorliegen würde.
3.
3.1. Der Haftgrund der Wiederholungsgefahr setzt nach <ref-law> voraus, dass "die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ernsthaft zu befürchten ist, dass sie durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Straftaten verübt hat". Gemäss der Rechtsprechung kann sich Wiederholungsgefahr ausnahmsweise auch aus Vortaten ergeben, die dem Beschuldigten im hängigen Strafverfahren erst vorgeworfen werden, wenn die Freilassung des Ersttäters mit erheblichen konkreten Risiken für die öffentliche Sicherheit verbunden wäre. Erforderlich ist allerdings eine sehr ungünstige Rückfallprognose (<ref-ruling> E. 3.2 S. 85 f.; <ref-ruling> E. 2.3 S. 73; je mit Hinweisen). <ref-law> setzt die ernsthafte Befürchtung voraus, dass die beschuldigte Person durch Verbrechen oder schwere Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Straftaten verübt hat (vgl. <ref-ruling> E. 3.2 S. 85 f.). Sodann hat die Haft wie alle strafprozessualen Zwangsmassnahmen verhältnismässig zu sein (vgl. insbes. <ref-law>) und sie darf nicht länger dauern als die zu erwartende Freiheitsstrafe (<ref-law>). Nach <ref-law> sind anstelle der Haft eine oder mehrere mildere Massnahmen anzuordnen, wenn sie den gleichen Zweck wie die Haft erfüllen.
3.2. Gibt es wie hier keine früheren strafrechtlichen Verurteilungen, sondern wird die Wiederholungsgefahr aus den Tatvorwürfen abgeleitet, deretwegen der Beschuldigte in Strafuntersuchung steht, muss die Rückfallprognose zwangsläufig auf einer vorläufigen Beweiswürdigung beruhen.
3.2.1. Dabei ist die Annahme von Wiederholungsgefahr nicht nur dann zulässig, wenn ein Geständnis vorliegt. Auch eine erdrückende oder klare Beweislage kann eine schlechte Prognose rechtfertigen. Da die Zulässigkeit der Haft bereits als eigenständiges Kriterium einen hinreichenden Tatverdacht voraussetzt, genügt ein solcher für die Annahme von die Wiederholungsgefahr begründenden Vortaten nicht. Der strafprozessuale Haftentscheid setzt jedoch auch keine Beweislage voraus, die bereits eine Strafverurteilung rechtfertigen würde. Vielmehr bedarf es einer Beweislage, die zwischen hinreichendem Tatverdacht und nachgewiesener Tatbegehung liegt. Dafür genügt in der Regel eine derart klare vorläufige Beweissituation, dass daraus bei unveränderter Beweislage geschlossen werden kann, der Beschuldigte sei nicht nur tatverdächtig, sondern habe die Tat auch vermutlich begangen. Dafür spricht etwa, wenn die Beweislage nahe legt, dass der Beschuldigte in ähnlicher Weise bzw. nach einem vergleichbaren Muster wiederholte Straftaten von massgeblicher Schwere begangen hat. Es muss allerdings klar sein, dass es sich lediglich um eine einstweilige Einschätzung handelt, die das Ergebnis des Strafverfahrens nicht zu präjudizieren vermag (Urteil des Bundesgerichts 1B_221/2015 vom 14. Juli 2015 E. 3.2 mit Hinweisen).
3.2.2. Eine solche vorläufige Beweiswürdigung hat das Bundesgericht im gleichen Verfahren bereits in seinem Urteil 1B_221/2015 vom 14. Juli 2015 in E. 3.3-3.6 geprüft. Es ist dabei unter detaillierter Abwägung der damals vorliegenden Beweismittel zum Schluss gelangt, die vorläufige Beweislage erscheine hinreichend klar, um von einer einschlägigen Vortat auszugehen. Es sei mit hoher Wahrscheinlichkeit davon auszugehen, dass der Beschwerdeführer die ihm vorgeworfenen Verbrechen der sexuellen Nötigung und der Schändung begangen habe. Der Beschwerdeführer bringt nichts vor, was darauf schliessen liesse, dass die damalige Einschätzung der Beweislage heute anders ausfallen würde. Im Wesentlichen fokussiert er seine Argumentation darauf, die inzwischen erfolgte Begutachtung gehe nicht von einer hohen Rückfallgefahr aus. Es sind denn auch keine Gründe ersichtlich, weshalb heute von der damaligen vorläufigen Beurteilung abzuweichen wäre, der Beschwerdeführer habe mit hoher Wahrscheinlichkeit eine einschlägige Vortat begangen.
3.3. Hinsichtlich des Risikos erneuter Straftaten beruft sich der Beschwerdeführer im Wesentlichen darauf, das über ihn erstellte psychiatrische Gutachten schätze die Rückfallgefahr für einschlägige Sexualdelikte als moderat bis deutlich ein. Unter Berufung auf ein bundesgerichtliches Urteil macht er geltend, das genüge für die für Wiederholungsgefahr erforderliche sehr ungünstige Rückfallprognose nicht.
3.3.1. Im Urteil 1B_88/2015 vom 7. April 2015 lag dem Bundesgericht ein psychiatrisches Gutachten vor, dass das Wiederholungsrisiko beim damaligen Beschuldigten, dem ebenfalls gewisse Sexualdelikte vorgeworfen wurden, als moderat bis hoch und damit etwas über der Mitte auf der 5-stufigen Skala einstufte. Das Bundesgericht beurteilte diese Einschätzung in E. 2.2.3 des damaligen Urteils als nicht besonders genau und interpretierte das dabei beurteilte Risiko als "wohl... leicht überdurchschnittlich", was "keine besonders ungünstige Rückfallprognose" darstelle, wie sie nötig wäre, wenn das Vortatenerfordernis in den angeschuldigten Handlungen selbst liegen solle.
3.3.2. Im vorliegenden Fall äussert sich das psychiatrische Gutachten vom 27. Juli 2015 auf S. 106 f. wie folgt zur Rückfallgefahr:
"Das Rückfallrisiko für einschlägige Sexualdelikte wird als moderat bis deutlich eingeschätzt. Bei dieser Bewertung handelt es sich um eine Zwischenstufe am oberen Ende einer moderaten Ausprägung (= akzentuiert moderate Ausprägung). Moderat bis deutlich bedeutet, dass auch ohne jegliche Veränderung bzw. ohne Therapie oder andere risikosenkende Massnahmen langfristige Rückfallfreiheit zwar durchaus möglich und eher wahrscheinlich ist als einschlägige Rückfälligkeit. Es besteht demnach zusammenfassend kein hohes Risiko. Es handelt sich bei dem hier beschriebenen akzentuiert moderaten Risiko aber sicherlich um ein relevantes und nicht um ein zu vernachlässigendes Risiko, wenn das Gericht die sexuellen Anlassdelikte als erhebliche Sexualdelikte klassiert. Generell ist es so, dass bei einem akzentuiert moderat ausgeprägten Risiko für erhebliche Sexualdelikte in der Regel risikosenkende Massnahmen klar indiziert sind.
Das Rückfallrisiko für Delikte ähnlich denen des Cannabisanbaus wird als deutlich eingeschätzt. Bei einem deutlichen Rückfallrisiko ist langfristig Rückfälligkeit wahrscheinlicher als Rückfallfreiheit."
3.3.3. Auch diese gutachterliche Einschätzung besticht nicht durch Klarheit. Für die Sexualdelikte wird zunächst Rückfallfreiheit als eher wahrscheinlich als Rückfälligkeit und gestützt darauf kein hohes Risiko festgestellt. Dabei hat es aber nicht sein Bewenden. Gemäss dem Gutachten sind risikosenkende Massnahmen klar indiziert, sollten die Handlungen als erhebliche Sexualdelikte beurteilt werden. Diesfalls erreicht das Rückfallrisiko demnach doch eine Stufe, die es nicht erlauben würde, von weiteren Massnahmen abzusehen, weshalb die Rückfallgefahr unter der genannten Voraussetzung doch als hoch einzuschätzen ist. In diesem Punkt unterscheidet sich der vorliegende Fall denn auch von demjenigen, den der Beschwerdeführer anruft. Soweit dies aus dem Urteil 1B_88/2015 ersichtlich ist, standen damals risikosenkende Massnahmen überhaupt nicht zur Diskussion. Überdies wurden dem damaligen Beschuldigten keine besonders schweren Straftaten vorgehalten. Im vorliegenden Fall verhält es sich insoweit anders: Der Beschwerdeführer wird ziemlich schwer wiegender Sexualdelikte beschuldigt, die, sollte er deswegen uneingeschränkt verurteilt werden, als erheblich einzustufen wären, weshalb gemäss dem Gutachten diesfalls risikosenkende Massnahmen erforderlich würden. Mithin ist von einer massgeblichen hohen Rückfallgefahr auszugehen. Es kann damit dahingestellt bleiben, welche Tragweite allenfalls dem vom Gutachter festgestellten deutlichen Rückfallrisiko bei den Betäubungsmitteldelikten zukäme.
3.4. Zusammenfassend ergibt sich, dass angesichts der dem Beschwerdeführer vorgehaltenen Straftaten und der aktuell bekannten Beweislage von einer sehr ungünstigen Rückfallprognose auszugehen ist und sich diese zudem auf besonders schwere Straftaten bezieht. Das Vorliegen von Wiederholungsgefahr ist damit zu bejahen, womit offen bleiben kann, ob auch Kollusionsgefahr besteht.
3.5. Angesichts der dem Beschwerdeführer drohenden Freiheitsstrafe droht zurzeit noch nicht Überhaft. Es gibt auch keinen anderen Grund für eine allfällige Unverhältnismässigkeit der Weiterführung des vorzeitigen Strafvollzugs. Insbesondere ist nicht ersichtlich, welche Ersatzmassnahmen geeignet wären, das Rückfallrisiko auszuschliessen bzw. auf ein erträgliches Mass zu beschränken.
4.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
Damit würde der unterliegende Beschwerdeführer an sich kostenpflichtig (<ref-law>). Im Strafverfahren wird der Beschwerdeführer notwendig verteidigt. Da seine Begehren vor Bundesgericht nicht als von vornherein aussichtslos gelten können und er darzutun vermag, dass seine finanzielle Lage durch das Strafverfahren inzwischen angespannt ist, ist seinem Gesuch um unentgeltliche Rechtspflege und Verbeiständung stattzugeben. Mithin sind für das bundesgerichtliche Verfahren keine Kosten zu erheben und dem Rechtsvertreter des Beschwerdeführers ist aus der Bundesgerichtskasse eine angemessene Entschädigung auszurichten (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen und es wird dem Beschwerdeführer Rechtsanwalt Paul Hofer als unentgeltlicher Rechtsbeistand beigegeben.
3.
Es werden keine Gerichtskosten erhoben.
4.
Rechtsanwalt Paul Hofer wird aus der Gerichtskasse eine Entschädigung von Fr. 1'500.-- ausgerichtet.
5.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Brugg-Zurzach und dem Obergericht des Kantons Aargau, Beschwerdekammer in Strafsachen, schriftlich mitgeteilt.
Lausanne, 21. Juni 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Uebersax