Sachverhalt:
A.
Die Staatsanwaltschaft Basel-Stadt führte gegen A._ ein Strafverfahren wegen Vergewaltigung, Freiheitsberaubung und Entführung. Am 18. April 2016 wurde er verhaftet. Mit Verfügung vom 21. April 2016 ordnete das Zwangsmassnahmengericht des Kantons Basel-Stadt Untersuchungshaft für die vorläufige Dauer von vier Wochen, d.h. bis zum 19. Mai 2016, an. Am 10. Mai 2016 erging die Anklageschrift. Am 18. Mai 2016 verfügte das Zwangsmassnahmengericht die Sicherheitshaft für die vorläufige Dauer von zwölf Wochen, d.h. bis zum 10. August 2016. Gegen beide Verfügungen erhob A._ Beschwerde beim Appellationsgericht des Kantons Basel-Stadt.
B.
Mit Entscheid vom 24. Mai 2016 schrieb das Einzelgericht am Appellationsgericht die gegen die erste Verfügung des Zwangsmassnahmengerichts vom 21. April 2016 eingereichte Beschwerde wegen Gegenstandslosigkeit als erledigt ab, auferlegte A._ die Kosten des Beschwerdeverfahrens von Fr. 500.-- und sprach dessen amtlichen Verteidiger ein Honorar von Fr. 1'200.-- (zuzüglich Mehrwertsteuer von Fr. 96.--) aus der Gerichtskasse zu.
C.
C.a. Mit Beschwerde in Strafsachen vom 3. Juni 2016 an das Bundesgericht beantragt A._, den Entscheid des Appellationsgerichts aufzuheben und die Sache an das Zwangsmassnahmengericht zurückzuweisen zur inhaltlichen Behandlung; eventuell sei er, allenfalls unter Anordnung geeigneter Ersatzmassnahmen, aus der Haft zu entlassen. In prozessualer Hinsicht ersucht er um unentgeltliche Prozessführung und Verbeiständung.
C.b. Die Staatsanwaltschaft liess sich dazu nicht vernehmen. Das Appellationsgericht schliesst in seiner Stellungnahme vom 8. Juni 2016 auf Abweisung der Beschwerde. Zugleich teilte es dem Bundesgericht mit, es habe mit Beschwerdeentscheid vom 2. Juni 2016, der seinem Vertreter am 3. Juni 2016 vorweg per Fax zugestellt und postalisch am 6. Juni 2016 eröffnet worden sei, die Haftentlassung von A._ angeordnet. Die effektive Haftentlassung sei am 3. Juni 2016 erfolgt.
C.c. Mit Eingabe vom 6. Juli 2016 teilt der Vertreter von A._ mit, er sei am 3. Juni 2016 beim Eingang des Faxes bereits nicht mehr im Büro gewesen und deshalb bei Beschwerdeeinreichung in guten Treuen davon ausgegangen, sein Mandant befinde sich noch in Haft. Mit allerdings noch nicht rechtskräftigem Urteil des Strafgerichts Basel-Stadt vom 4. Juli 2016 sei A._ inzwischen von sämtlichen Anklagevorwürfen vollumfänglich und kostenlos freigesprochen worden. Überdies sei ihm für den unrechtmässigen Freiheitsentzug eine Haftentschädigung in der Höhe von Fr. 9'000.-- zugesprochen worden. A._ sei mithin nur noch insofern beschwert, als ihm das Appellationsgericht eine Gebühr von Fr. 500.-- auferlegt habe. Wegen des inhaltlich falschen Beschwerdeentscheids habe er aber auch zehn Tage länger in Haft bleiben müssen, was zusätzlich festzustellen sei.
C.d. Das Dispositiv des Strafurteils vom 4. Juli 2016 wurde dem Bundesgericht vom Rechtsvertreter von A._ eingereicht. Weitere Eingaben gingen beim Bundesgericht nicht mehr ein.

Erwägungen:
1.
Das Bundesgericht prüft die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1 S. 133).
2.
Gegen den wie hier kantonal letztinstanzlichen Entscheid (vgl. <ref-law> und <ref-law>) über Haftverfügungen steht grundsätzlich die Beschwerde in Strafsachen an das Bundesgericht nach <ref-law> offen.
3.
3.1. Nach <ref-law> ist zur Beschwerde in Strafsachen berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit dazu hatte und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat, wozu insbesondere die beschuldigte Person zählt. Nach der Rechtsprechung muss der Beschwerdeführer ein aktuelles praktisches Interesse an der Behandlung der Beschwerde haben. Mit diesem Erfordernis soll sichergestellt werden, dass das Gericht konkrete und nicht bloss theoretische Fragen entscheidet. Es dient damit der Prozessökonomie (<ref-ruling> E. 3 S. 84; <ref-ruling> E. 4a S. 397; je mit Hinweisen).
3.2. Der Beschwerdeführer war am vorinstanzlichen Verfahren beteiligt und ist als beschuldigte Person bzw. Häftling sowie als direkter Adressat des angefochtenen Entscheides davon betroffen. Die hier angefochtene Untersuchungshaft wurde längstens bis zum 19. Mai 2016 angeordnet. Ihre Dauer war also schon im Zeitpunkt des vorinstanzlichen Entscheids vom 24. Mai 2016 abgelaufen. Selbst die im Nachgang dazu am 18. Mai 2016 verfügte Sicherheitshaft verschafft dem Beschwerdeführer nicht einmal mehr indirekt ein aktuelles Interesse an der Haftfrage, nachdem er mit Entscheid des Appellationsgerichts vom 2. Juni 2016 am 3. Juni 2016 aus der Haft entlassen worden ist.
3.3. Ausnahmsweise, vor allem mit Blick auf Art. 5 EMRK und gegebenenfalls Art. 13 EMRK, aber auch, wenn sich die aufgeworfenen Fragen jederzeit unter gleichen oder ähnlichen Umständen wieder stellen können und an deren Beantwortung wegen der grundsätzlichen Bedeutung ein hinreichendes öffentliches Interesse besteht und sofern diese im Einzelfall kaum je rechtzeitig verfassungsrechtlich geprüft werden könnten, behandelt das Bundesgericht eine Haftbeschwerde trotz Wegfalls des aktuellen praktischen Interesses (<ref-ruling> E. 1.3 S. 276 f.; <ref-ruling> E. 4b S. 397).
3.4. Der vorliegende Fall stellt hinsichtlich der Haftfrage als solcher keine grundsätzlichen Fragen, an deren Beantwortung ein hinreichendes öffentliches Interesse besteht. Für den Beschwerdeführer selbst ist sodann nicht einmal mehr die Entschädigungsfrage von Belang, nachdem ihm für die Haft bereits integral eine Entschädigung zugesprochen worden ist. Dieser Entscheid ist zwar möglicherweise noch nicht rechtskräftig; der Verfahrenspunkt der Haftentschädigung bildet aber bereits Gegenstand im entsprechenden Strafverfahren bzw. in einem allfälligen Rechtsmittelverfahren. Der Beschwerdeführer verfügt damit unter keinem ersichtlichen Gesichtspunkt über ein aktuelles Interesse an der Feststellung der Rechtmässigkeit bzw. der angeblichen Rechtswidrigkeit der Haft oder Teilen derselben im vorliegenden Verfahren. Insofern kann daher auf die Beschwerde nicht eingetreten werden.
3.5. Der Beschwerdeführer ist jedoch beschwert und verfügt, namentlich mit Blick auf seinen Anspruch auf eine wirksame Haftbeschwerde (Art. 5 i.V.m. Art. 13 EMRK), über ein aktuelles Interesse, soweit ihm für das vorinstanzliche Verfahren Kosten von Fr. 500.-- auferlegt worden sind. Insoweit ist auf die Beschwerde einzutreten.
4.
Wohl hatte das Appellationsgericht im vorliegenden Fall die Rechtslage in der Sache lediglich summarisch im Hinblick auf die Kostenfrage zu beurteilen, weil es das Beschwerdeverfahren als gegenstandslos abschrieb. Bereits am 10. Mai 2016 erging jedoch die Anklageschrift, womit im Zeitpunkt des Endes der Untersuchungshaft am 19. Mai 2016 bzw. des angefochtenen Entscheids am 24. Mai 2016 die Kollusionsgefahr nicht mehr offensichtlich erschien. Die Vorinstanz hält im angefochtenen Entscheid selbst fest, das Zwangsmassnahmengericht habe zu Recht erwartet, dass die Staatsanwaltschaft die erforderliche Konfrontationseinvernahme innert der Frist von vier Wochen vornehme, was offenbar nicht geschehen sei. Es bestehen keine Anhaltspunkte dafür, dass es dem Beschwerdeführer anzulasten wäre, dass die Staatsanwaltschaft vor Verfassen der Anklageschrift bzw. vor dem vorinstanzlichen Entscheid keine solche Konfrontationseinvernahme durchgeführt hat. Damit lässt sich die Haft nicht mit Kollusionsgefahr begründen, nachdem diese gerade massgeblich mit Blick auf die ausstehende Konfrontationseinvernahme gerechtfertigt wurde. Es erweist sich demnach als unzulässig, dem Beschwerdeführer für den vorinstanzlichen Entscheid Verfahrenskosten aufzuerlegen. Insoweit ist der angefochtene Entscheid aufzuheben.
5.
Die Beschwerde erweist sich als begründet, soweit darauf eingetreten werden kann, und der angefochtene Entscheid ist aufzuheben, soweit dem Beschwerdeführer damit Kosten auferlegt wurden.
Der Beschwerdeführer obsiegt nur teilweise, da auf seine Beschwerde nur zum Teil eingetreten wird. Weil er offensichtlich bedürftig ist und seine Begehren nicht von vornherein aussichtslos erscheinen, ist ihm jedoch antragsgemäss die unentgeltliche Rechtspflege und Verbeiständung zu gewähren (vgl. <ref-law>). Damit sind keine Kosten zu erheben (Art. 64 Abs. 1 und Art. 66 Abs. 4 BGG). Der Kanton Basel-Stadt hat dem Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung auszurichten (vgl. <ref-law>); im Übrigen wird dieser aus der Bundesgerichtskasse entschädigt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
1.1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist.
1.2. Der folgende Teil des Dispositivs des Entscheids des Appellationsgerichts des Kantons Basel-Stadt, Einzelgericht, vom 24. Mai 2016 wird aufgehoben:
"Der Beschwerdeführer trägt die Kosten des gegenstandslos gewordenen Beschwerdeverfahrens mit einer Gebühr von Fr. 500.--."
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen und es wird dem Beschwerdeführer Advokat Alain Joset als unentgeltlicher Rechtsbeistand beigegeben.
3.
Es werden keine Kosten erhoben.
4.
Der Kanton Basel-Stadt hat dem Rechtsvertreter des Beschwerdeführers, Advokat Alain Joset, für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung von Fr. 800.-- auszurichten. Im Übrigen wird dieser aus der Bundesgerichtskasse mit Fr. 700.-- entschädigt.
5.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Basel-Stadt und dem Appellationsgericht des Kantons Basel-Stadt, Einzelgericht, schriftlich mitgeteilt.
Lausanne, 22. Juli 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Eusebio
Der Gerichtsschreiber: Uebersax