Sachverhalt:
A.
Gegen A._ ist eine Strafuntersuchung hängig wegen Betrugs, eventuell gewerbsmässig begangen, versuchten Betrugs und Urkundenfälschung. Mit Verfügung vom 21. April 2016 ordnete das Haftgericht des Kantons Solothurn (Haftrichterin Barbara Steiner, Haftgerichtsschreiberin Karin Scheidegger) auf Antrag der Staatsanwaltschaft des Kantons Solothurn Untersuchungshaft bis am 20. Juli 2016 an. Am 23. Juni 2016 reichte A._ ein Haftentlassungsgesuch ein, zu welchem die Staatsanwaltschaft am 27. Juni 2016 ablehnend Stellung bezog. Das Haftgericht liess A._ die Stellungnahme mit Verfügung vom 28. Juni 2016 zur Vernehmlassung zukommen.
Am 1. Juli 2016 verlangte A._ den Ausstand der Haftrichterin Barbara Steiner und der Haftgerichtsschreiberin Karin Scheidegger, nachdem er mit Erhalt der Verfügung vom 28. Juni 2016 Kenntnis davon erhalten hatte, dass Haftrichterin Barbara Steiner (erneut) Verfahrensleiterin war. Zur Begründung führte A._ aus, Haftrichterin Barbara Steiner und Haftgerichtsschreiberin Karin Scheidegger hätten mit ihrer Entscheidbegründung vom 21. April 2016 die Unschuldsvermutung verletzt und ihn vorverurteilt, was einen Ausstandsgrund darstelle. Haftrichterin Barbara Steiner und Haftgerichtsschreiberin Karin Scheidegger überwiesen am 4. Juli 2016 das Ausstandsbegehren zuständigkeitshalber der Beschwerdekammer des Obergerichts des Kantons Solothurn. In ihrer gleichzeitig eingereichten, zweiseitigen Stellungnahme zum Ausstandsbegehren beantragten sie dessen Abweisung. Die Beschwerdekammer des Obergerichts stellte A._ die Stellungnahme noch gleichentags um 16.22 Uhr per Fax ohne Fristansetzung zur Kenntnisnahme zu. Mit Beschluss vom 5. Juli 2016 wies die Beschwerdekammer des Obergerichts das Ausstandsgesuch gegen Haftrichterin Barbara Steiner und Haftgerichtsschreiberin Karin Scheidegger ab. Zugleich wurde A._ zur Bezahlung der Kosten des Ausstandsverfahrens von Fr. 300.-- verpflichtet.
Am 8. Juli 2016 wies das Haftgericht (Haftrichterin Barbara Steiner, Haftgerichtsschreiberin Karin Scheidegger) das Haftentlassungsgesuch von A._ ab.
B.
Mit Eingabe vom 18. Juli 2016 führt A._ Beschwerde in Strafsachen an das Bundesgericht und beantragt, der Beschluss der Beschwerdekammer des Obergerichts vom 5. Juli 2016 sei aufzuheben, und die Sache sei zur Gewährung des rechtlichen Gehörs an die Vorinstanz zurückzuweisen. Eventuell seien Haftrichterin Barbara Steiner und Haftgerichtsschreiberin Karin Scheidegger in Aufhebung des Beschlusses der Vorinstanz in den Ausstand zu versetzen. Des Weiteren ersucht der Beschwerdeführer im Verfahren vor Bundesgericht um Gewährung der unentgeltlichen Rechtspflege (<ref-law>).
Die Beschwerdekammer des Obergerichts beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Haftrichterin Barbara Steiner und Haftgerichtsschreiberin Karin Scheidegger stellen Antrag auf Beschwerdeabweisung. Die Staatsanwaltschaft verzichtet auf eine Vernehmlassung.
Der Beschwerdeführer hält an seinen Vorbringen in der Beschwerde fest.
Mit Verfügung vom 26. Juli 2016 verlängerte das Haftgericht (Haftrichterin Barbara Steiner, Haftgerichtsschreiberin Karin Scheidegger) auf Antrag der Staatsanwaltschaft die Untersuchungshaft gegen A._ bis am 20. Oktober 2016.

Erwägungen:
1.
Gegen den angefochtenen Entscheid ist nach <ref-law> die Beschwerde in Strafsachen gegeben. Ein kantonales Rechtsmittel steht nicht zur Verfügung. Die Vorinstanz hat gemäss Art. 59 Abs. 1 lit. b i.V.m. <ref-law> als einzige kantonale Instanz entschieden. Die Beschwerde ist somit nach <ref-law> zulässig.
Der Beschwerdeführer ist gemäss Art. 81 Abs. 1 lit. a und b Ziff. 1 BGG zur Beschwerde befugt. Er hat nach wie vor ein aktuelles praktisches Interesse an der Behandlung der Beschwerde, auch wenn das Haftgericht unter Mitwirkung der beiden Beschwerdegegnerinnen am 8. Juli 2016 sein Haftentlassungsgesuch abgewiesen sowie am 26. Juli 2016 die Untersuchungshaft bis am 20. Oktober 2016 verlängert hat. Nach <ref-law> sind Amtshandlungen, an denen eine zum Ausstand verpflichtete Person mitgewirkt hat, aufzuheben und zu wiederholen, sofern dies eine Partei innert 5 Tagen verlangt, nachdem sie vom Entscheid über den Ausstand Kenntnis erhalten hat. Der Beschwerdeführer kann somit bei Gutheissung der Beschwerde die Aufhebung und Wiederholung von Amtshandlungen verlangen, an denen die Beschwerdegegnerinnen mitgewirkt haben (vgl. zum Ganzen auch Urteil 1B_419/2014 vom 27. April 2015 E. 1, nicht publ. in: <ref-ruling>).
Der angefochtene Entscheid stellt einen selbständig eröffneten Zwischenentscheid über ein Ausstandsbegehren dar. Dagegen ist die Beschwerde nach <ref-law> zulässig.
Da auch die weiteren Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2.
2.1. Der Beschwerdeführer rügt in der Hauptsache eine Verletzung seines Replikrechts, da er nicht zur Eingabe der Beschwerdegegnerinnen vom 4. Juli 2016 habe Stellung nehmen können. Zudem habe ihm die Vorinstanz - obwohl sie gewusst habe, dass er amtlich verteidigt sei -, zu Unrecht die unentgeltliche Rechtspflege nicht erteilt und ihm die Verfahrenskosten auferlegt; ferner habe sie nicht über die Entschädigung des amtlichen Verteidigers befunden. Die Sache sei daher zur Gewährung des rechtlichen Gehörs und zu neuem Entscheid an die Vorinstanz zurückzuweisen. Die Vorinstanz habe ihm auch Gelegenheit zu geben, Anträge zu den Kosten- und Entschädigungsfolgen zu stellen bzw. ein Gesuch um unentgeltliche Rechtspflege einzureichen.
2.2.
2.2.1. Gemäss <ref-law> und Art. 6 Ziff. 1 EMRK haben die Parteien eines Gerichtsverfahrens Anspruch auf rechtliches Gehör. Diese Garantie umfasst auch das Recht, von den beim Gericht eingereichten Stellungnahmen Kenntnis zu erhalten und sich dazu äussern zu können (sog. Replikrecht: <ref-ruling> E. 2.1 S. 99). Das Replikrecht hängt nicht von der Entscheidrelevanz der Eingaben ab (<ref-ruling> E. 2.3.3 S. 157). Die Wahrnehmung des Replikrechts setzt voraus, dass die von den übrigen Verfahrensbeteiligten eingereichten Eingaben der Partei zugestellt werden (<ref-ruling> E. 2.3.1 S. 197). In Ausstandsverfahren steht das Replikrecht dem Gesuchsteller auch zu sämtlichen Stellungnahmen der Personen zu, deren Ausstand er beantragt hat (vgl. zum Strafverfahren MARKUS BOOG, Basler Kommentar zur Schweizerischen Strafprozessordnung, 2. Auflage 2014, N. 11 zu <ref-law>).
2.2.2. Nach Zustellung der Vernehmlassung ist der Partei eine gewisse Zeit zur Wahrnehmung des Replikrechts zu belassen, bevor der Entscheid gefällt wird. Die Ausübung des Replikrechts darf nicht verhindert werden, indem der Entscheid so rasch ergeht, dass eine Stellungnahme trotz Zustellung einer neuen Eingabe nicht mehr rechtzeitig erfolgen kann (MARKUS LANTER, Formeller Charakter des Replikrechts - Herkunft und Folgen, in: ZBl 113/2012, S. 173). Von einem Rechtsuchenden kann insbesondere nicht erwartet werden, dass er innert weniger Tage reagiert, wenn er Unterlagen, die von den Verfahrensbeteiligten eingereicht bzw. zu den Akten genommen werden, ohne Frist zur Stellungnahme lediglich zur Kenntnisnahme erhält (Urteil 2C_794/2008 vom 14. April 2009 E. 3). In der bundesgerichtlichen Rechtsprechung wurden etwa folgende Zeitabläufe, die einer Partei nach Zustellung einer Vernehmlassung für die Replik zur Verfügung standen, bevor der Entscheid gefällt wurde, als unzulässig beurteilt: zwei Tage (Urteil 1B_25/2010 vom 17. Februar 2010 E. 2.2), vier Tage (Urteile 1B_459/2012 vom 16. November 2012 E. 2.4 und 1B_407/2012 vom 21. September 2012 E. 3.2, beides Ausstandsverfahren), sieben Tage (Urteil 2C_794/2008 vom 14. April 2009 E. 3.5) und acht Tage (Urteil 1P.798/2005 vom 8. Februar 2006 E. 2.3). In einer etwas allgemeineren Formulierung hielt das Bundesgericht fest, dass jedenfalls vor Ablauf von zehn Tagen nicht, hingegen nach 20 Tagen von einem Verzicht auf das Replikrecht ausgegangen werden dürfe (Urteil 6B_629/2010 vom 25. November 2010 E. 3.3.2; vgl. zum Ganzen Urteile 1B_459/2012 vom 16. November 2012 E. 2.1 f. und 1B_407/2012 vom 21. September 2012 E. 2.1 f.).
2.2.3. Die Vorinstanz führt in ihrer Stellungnahme an das Bundesgericht vom 26. Juli 2016 aus, aufgrund des hängigen Haftentlassungsverfahrens habe (auch) im Ausstandsverfahren besondere Dringlichkeit bestanden.
Dieser Einwand trifft zwar grundsätzlich zu, erweist sich vorliegend indes als nicht stichhaltig. Der Vorinstanz wäre es unbenommen gewesen, dem Beschwerdeführer die Stellungnahme der Beschwerdegegnerinnen statt lediglich zur Kenntnisnahme mit einer kurzen, nicht verlängerbaren Frist zur Stellungnahme zuzustellen. Wie der Beschwerdeführer in seiner Beschwerde zutreffend ausführt, hätte ihm in sinngemässer Anwendung von <ref-law> zumindest eine Frist von 3 Tagen zur Replik eingeräumt werden müssen (zum Replikrecht im Haftverfahren vgl. auch Urteil 1B_143/2015 vom 5. Mai 2015 E. 3).
Dem Beschwerdeführer hingegen stand nicht einmal ein Tag zur Verfügung, was offensichtlich zu wenig ist, um das Replikrecht angemessen wahrnehmen zu können.
2.3. Der Beschwerdeführer rügt, wie dargelegt, in diesem Zusammenhang des Weiteren, dass ihm die Vorinstanz Verfahrenskosten von Fr. 300.-- auferlegt und nicht über die Entschädigung des amtlichen Verteidigers befunden habe.
<ref-law>, auf welchen die Vorinstanz ihren Kostenentscheid gestützt hat, stellt eine gesetzliche Grundlage für die Kostenauferlegung dar. Die Bestimmung enthält jedoch keine Regelung der unentgeltlichen Rechtspflege. Der Beschwerdeführer hat aber nur schon gestützt auf <ref-law> einen Anspruch auf unentgeltliche Rechtspflege, wenn er bedürftig ist und seine Rechtsbegehren nicht aussichtslos erscheinen (vgl. Urteil 1B_73/2015 vom 19. März 2015 E. 5.2).
Der Beschwerdeführer hat zwar vor der Vorinstanz nicht ausdrücklich um Gewährung der unentgeltlichen Rechtspflege ersucht. Dies kann ihm jedoch nicht zum Nachteil gereichen. Sein Ausstandsgesuch hat er zu Recht beim Haftgericht als Verfahrensleitung und nicht bei der Vorinstanz eingereicht (<ref-law>; vgl. auch BOOG, a.a.O., N. 5 zu <ref-law>). Bei Gewährung des zwingenden Replikrechts zur Stellungnahme der Beschwerdegegnerinnen (vgl. E. 2.2 hiervor sowie <ref-law>) hätte der Beschwerdeführer in seiner ersten Eingabe an die Vorinstanz im Ausstandsverfahren zugleich noch rechtzeitig ein Gesuch um unentgeltliche Rechtspflege stellen können. Zudem war der Vorinstanz bekannt, dass der Beschwerdeführer im Strafverfahren amtlich verteidigt und überdies vermutlich bedürftig ist (vgl. dazu auch das Urteil 1B_246/2016 vom 2. August 2016 in gleicher Sache). Unter diesen Umständen verstösst der angefochtene Entscheid in der Kostenfrage nur schon deshalb gegen Bundesrecht, weil die Vorinstanz die Verfahrenskosten dem Beschwerdeführer auferlegt hat, ohne ihm die Möglichkeit einzuräumen, ein Gesuch um unentgeltliche Rechtspflege zu stellen, respektive ohne die unentgeltliche Rechtspflege selber zu prüfen (vgl. Urteil 1B_73/2015 vom 19. März 2015 E. 5.3).
2.4. Der angefochtene Entscheid verletzt nach dem Gesagten den Anspruch des Beschwerdeführers auf rechtliches Gehör. Die Heilung des Verfahrensmangels im bundesgerichtlichen Verfahren fällt ausser Betracht, weil auch Fragen der Beweiswürdigung und somit Sachverhaltsfragen zur Diskussion stehen und die Kognition des Bundesgerichts insoweit gegenüber jener der Vorinstanz eingeschränkt ist (<ref-law>; Urteil 1B_281/2012 vom 13. November 2012 E. 2.4 mit Hinweis auf <ref-ruling> E. 2.3.2 S. 197 f.; Urteile 1B_459/2012 vom 16. November 2012 E. 2.6 und 1B_407/2012 vom 21. September 2012 E. 3.6 je mit Hinweis auf <ref-ruling> E. 4.9 S. 105). Die Ausstandsfrage ist im vorliegenden Verfahren vom Bundesgericht mithin nicht zu prüfen.
Der Beschwerdeführer dringt folglich mit seinem Hauptbegehren auf Rückweisung der Sache zur Gewährung des rechtlichen Gehörs durch.
3.
Die Beschwerde erweist sich als begründet und ist gutzuheissen. Der angefochtene Entscheid ist aufzuheben, und die Sache ist zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Bei diesem Verfahrensausgang sind keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Hingegen hat der Kanton Solothurn den obsiegenden Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>). Damit wird das Gesuch um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und der Beschluss des Obergerichts des Kantons Solothurn, Beschwerdekammer, vom 5. Juli 2016 wird aufgehoben. Die Sache wird zur Neubeurteilung an das Obergericht zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Solothurn hat Rechtsanwalt Ismet Bardakci für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft des Kantons Solothurn und dem Obergericht des Kantons Solothurn, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 26. September 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner