Sachverhalt:
A.
Das Obergericht des Kantons Zürich sprach X._ am 27. April 2011 der Vergewaltigung, der sexuellen Nötigung und des Hausfriedensbruchs schuldig. Es verurteilte ihn zu einer Freiheitsstrafe von 3 Jahren, unter Anrechnung der erstandenen Haft, und widerrief die mit Urteil des Bezirksgerichts Zürich am 10. Februar 2005 bedingt ausgefällte Freiheitsstrafe von 11 Monaten. Es schob den Vollzug der Freiheitsstrafe auf und wies X._ in eine Einrichtung für junge Erwachsene ein.
Am 9. Mai 2014 wurde X._ bedingt aus der Massnahme für junge Erwachsene entlassen.
Am 20. August 2014 stellte das Amt für Justizvollzug des Kantons Zürich (JUV) beim Bezirksgericht Zürich den Antrag auf Rückversetzung von X._ in den Massnahmevollzug mit zeitgleicher Anordnung einer stationären Massnahme im Sinne von <ref-law> sowie einen Antrag auf Überprüfung der Anordnung von Sicherheitshaft für die Dauer des Nachverfahrens.
Mit Beschluss des Bezirksgerichts Zürich vom 9. März 2015 wurde X._ in den Massnahmevollzug zurückversetzt, die Massnahme für junge Erwachsene aufgehoben und eine stationäre therapeutische Massnahme angeordnet. Gleichentags wurde die Fortdauer der Sicherheitshaft bis zum Antritt der stationären Massnahme verfügt.
B.
Gegen den Beschluss des Bezirksgerichts Zürich vom 9. März 2015 erhob X._ Beschwerde und beantragte die Durchführung einer mündlichen Verhandlung. Diesen Antrag wies das Obergericht des Kantons Zürich zusammen mit der Beschwerde am 27. November 2015 ab.
C.
X._ führt Beschwerde in Strafsachen. Er beantragt, der Beschluss des Obergerichts Zürich vom 27. November 2015 sei aufzuheben. Der Antrag des JUV vom 20. August 2014 auf Rückversetzung in die Massnahme für junge Erwachsene und auf zeitgleiche Anordnung einer stationären Massnahme sei abzuweisen. Es sei eine ambulante psychiatrisch-psychotherapeutische Behandlung anzuordnen. Zu deren Einleitung sei er vorübergehend für maximal 2 Monate stationär zu behandeln. Eventualiter sei die Sache zur erneuten Beurteilung an die Vorinstanz zurückzuweisen. Für das bundesgerichtliche Verfahren ersucht X._ um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Die Oberstaatsanwaltschaft und das Obergericht des Kantons Zürich verzichten auf eine Vernehmlassung zur Beschwerde.

Erwägungen:
1.
Nicht zu hören ist der Beschwerdeführer mit seiner persönlichen Eingabe vom 15. August 2016. Das begründete vorinstanzliche Urteil ging seinem Verteidiger am 9. Dezember 2015 zu. Die 30-tägige Frist zur Einreichung der Beschwerde (vgl. <ref-law>) begann am 10. Dezember 2015 zu laufen und endete am 25. Januar 2016. Damit ist die Eingabe des Beschwerdeführers verspätet.
2.
Der Beschwerdeführer wendet sich gegen die Abweisung seines Antrags auf Durchführung einer mündlichen Verhandlung im Beschwerdeverfahren. Die Vorinstanz hätte nicht auf einen persönlichen Eindruck anlässlich einer mündlichen Anhörung verzichten dürfen. Immerhin gehe es um einen Entscheid mit höchster Tragweite. Indem der Antrag auf eine mündliche Verhandlung abgelehnt worden sei, habe die Vorinstanz Art. 6 Ziff. 1 EMRK verletzt.
2.1. Die Vorinstanz lehnt den Antrag des Beschwerdeführers mit der Begründung ab, die erste Instanz habe am 9. März 2015 eine mündliche Verhandlung durchgeführt, in deren Rahmen er ausführlich befragt worden und anlässlich welcher der Gutachter sein schriftliches Gutachten ergänzt und erläutert habe. Der Beschwerdeführer habe nicht dargelegt, weshalb das Gericht im Beschwerdeverfahren für seinen Entscheid auf einen persönlichen Eindruck angewiesen sein soll. Die erstinstanzliche Hauptverhandlung liege erst rund acht Monate zurück. Das Protokoll sowie die Akten vermittelten ein gutes Bild des Beschwerdeführers und der Sachverhalt könne problemlos in schriftlicher Form dargelegt werden. Da weder ein Ergänzungsgutachten noch Zeugeneinvernahmen erforderlich seien, könne auch deshalb auf eine mündliche Verhandlung verzichtet werden.
2.2. Selbstständige nachträgliche Entscheide unterliegen den Regeln über das Beschwerdeverfahren, welches vom Grundsatz der Schriftlichkeit beherrscht wird (<ref-law>; <ref-ruling> E. 4.7; Urteil 6B_320/2016 vom 26. Mai 2016 E. 4.1). Eine mündliche Verhandlung kann von Amtes wegen oder auf Antrag einer Partei angeordnet werden (<ref-law>). Beim Entscheid über die Anordnung einer mündlichen Verhandlung ist in erster Linie der Tragweite des Entscheides Rechnung zu tragen. Die Rückversetzung in eine Massnahme kombiniert mit der Anordnung einer stationären Therapie stellt einen schweren Eingriff in die persönliche Freiheit eines Betroffenen dar (vgl. Urteil 6B_320/2016 vom 26. Mai 2016 E. 4.2). In einem solchen Verfahren sind regelmässig Tatsachenfragen zu prüfen und zu beurteilen, die beispielsweise die Prognose über die Behandlungsfähigkeit sowie die Gefährlichkeit betreffen, weshalb ein persönlicher Eindruck zentral ist. Wie bereits im Entscheid 6B_320/2016 vom 26. Mai 2016 festgehalten, hat die Beschwerdeinstanz in einem solchen Fall nur wenig Spielraum, ohne mündliche Anhörung und Befragung des Betroffenen zu entscheiden. Will sie trotz entsprechendem Antrag des Betroffenen auf eine mündliche Verhandlung verzichten, muss sie sich auf besondere Umstände stützen können, die es rechtfertigen, von einer mündlichen Verhandlung ausnahmsweise abzusehen (Urteil 6B_320/2016 vom 26. Mai 2016 E. 4.2 mit Hinweisen).
2.3. Vorliegend geht es um die Rückversetzung in den Massnahmevollzug, wobei zudem die Anordnung einer stationären therapeutischen Massnahme im Sinne von <ref-law> im Raum steht. Gemäss <ref-law> beträgt der mit der stationären Behandlung verbundene Freiheitsentzug in der Regel höchstens fünf Jahre. Sind die Voraussetzungen für die bedingte Entlassung nach fünf Jahren noch nicht gegeben und ist zu erwarten, durch die Fortführung der Massnahme lasse sich der Gefahr weiterer mit der psychischen Störung des Täters in Zusammenhang stehender Verbrechen und Vergehen begegnen, so kann das Gericht auf Antrag der Vollzugsbehörde die Verlängerung der Massnahme um jeweils fünf Jahre anordnen.
Dass es sich bei der Rückversetzung respektive der Umwandlung der Massnahme um einen Entscheid von grosser Tragweite handelt, ist offenkundig, weshalb dem Beschwerdeführer grundsätzlich eine mündliche Verhandlung im Beschwerdeverfahren zuzugestehen ist. Der persönliche Eindruck, welchen die erste Instanz vom Beschwerdeführer gewonnen hat, macht dessen Befragung und Anhörung durch die Beschwerdeinstanz nicht überflüssig oder verzichtbar, auch wenn die erstinstanzliche Verhandlung nicht allzu weit zurückliegt (Urteil 6B_320/2016 vom 26. Mai 2016 E. 5.3). Soweit ersichtlich, richtet sich der Beschwerdeführer zwar weder gegen die gutachterlich gestellte Diagnose an sich noch bestreitet er die Behandlungsbedürftigkeit. Allerdings bezweifelt er die Geeignetheit, die Erforderlichkeit sowie die Verhältnismässigkeit im engeren Sinn der angestrebten Massnahme. Dazu führt er aus, das psychiatrische Gutachten von Dr. med. A._ vom 25. Februar 2015 habe ergeben, dass er während vier Jahren falsch therapiert worden sei. Zwischen der erstinstanzlichen Hauptverhandlung und dem Entscheid der Vorinstanz seien wesentliche Veränderungen eingetreten. Die Absetzung der neuroleptischen Medikation kurz vor der bedingten Entlassung aus der Massnahme für junge Erwachsene sei nach Einschätzung des Gutachters fatal gewesen. Im Zeitpunkt der erstinstanzlichen Hauptverhandlung habe er sich seit zweieinhalb Monaten in der Sicherheitsabteilung der Psychiatrischen Klinik Rheinau befunden. Die geeignete Medikation habe aber erst nach der erstinstanzlichen Hauptverhandlung eingestellt werden können. Zudem habe die eigentliche Therapie erst nach Versetzung von der Sicherheitshaft auf die geschlossene Massnahmestation gemäss Verfügung des JUV vom 30. Juni 2015 begonnen. Bei der Beurteilung der Gefährlichkeit sei auf den Zeitpunkt des Urteils abzustellen. Dabei sei die Wirkung einer bereits eingeleiteten Massnahme oder eines vorzeitigen Strafvollzugs zu berücksichtigen. Diese sei jedoch im vorinstanzlichen Verfahren gänzlich unberücksichtigt geblieben. Gerade die Entwicklung zwischen dem erst- und dem zweitinstanzlichen Entscheid sei vorliegend besonders relevant. Auf die vom Beschwerdeführer geltend gemachten positiven Veränderungen seit dem erstinstanzlichen Entscheid geht die Vorinstanz zwar entgegen seiner Ansicht ein. Allerdings durfte und konnte sie, ohne sich vorgängig einen persönlichen Eindruck über den Beschwerdeführer verschafft zu haben, keine abschliessende Beurteilung vornehmen.
2.4. Die Vorinstanz hätte aufgrund der Eingriffsintensität des Entscheids für den Beschwerdeführer und der sich in Zusammenhang mit der Rückversetzung und Umwandlung der Massnahme stellenden Fragen nicht auf eine mündliche Verhandlung verzichten dürfen. Umstände, welche ein solches Vorgehen rechtfertigen würden, werden weder dargelegt noch sind sie ersichtlich.
3.
Die Beschwerde ist gutzuheissen. Der angefochtene Beschluss ist aufzuheben und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Auf die übrigen Einwände des Beschwerdeführers, insbesondere auf seine materiellen Vorbringen zur Massnahmeanordnung sowie seine Rüge betreffend der Verletzung von Art. 6 EMRK braucht unter diesen Umständen nicht eingegangen zu werden. Die Vorinstanz wird eine mündliche Verhandlung durchzuführen haben. Dabei wird sie einerseits den Beschwerdeführer sowie allenfalls den Gutachter anzuhören haben. Sie wird überdies prüfen müssen, ob im Hinblick auf die mündliche Verhandlung ein aktueller Therapiebericht einzuholen ist.
Es sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 und 2 BGG). Die Entschädigung ist praxisgemäss seinem Rechtsvertreter auszurichten. Damit wird das Gesuch um unentgeltliche Rechtspflege und Verbeiständung gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Beschluss des Obergerichts des Kantons Zürich vom 27. November 2015 wird aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Zürich hat dem Vertreter des Beschwerdeführers eine Entschädigung von Fr. 3'000.-- auszurichten.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 30. August 2016
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Schär