Sachverhalt:
A.
X._ wurde am 18. März 2004 wegen Vergewaltigung und sexueller Nötigung zu einer Zuchthausstrafe von 4 Jahren verurteilt. Der Vollzug der Strafe wurde zugunsten einer Verwahrung aufgeschoben.
B.
Das Bezirksgericht Affoltern beschloss am 18. Mai 2015, dass die Verwahrung nach neuem Recht weitergeführt werde. Die dagegen gerichtete Beschwerde von X._ wies das Obergericht des Kantons Zürich am 27. April 2017 ab.
C.
Am 13. September 2016 hatte das Verwaltungsgericht des Kantons Zürich eine von X._ gegen die Verweigerung der bedingten Entlassung aus der Verwahrung erhobene Beschwerde abgewiesen. Das Bundesgericht hat das Urteil des Verwaltungsgerichts am 29. Juni 2017 aufgehoben und die Sache an die Vorinstanz zurückgewiesen, damit diese, nach Einholung eines aktuellen Gutachtens, über die Sache erneut entscheide (Urteil 6B_1198/2016).
D.
X._ erhebt Beschwerde in Strafsachen gegen das Urteil des Obergerichts vom 27. April 2017. Er beantragt, die Sache sei an die Vorinstanz oder an die erste Instanz zurückzuweisen, damit diese, nach Einholung eines aktuellen Gutachtens, erneut entscheide. X._ ersucht um unentgeltliche Rechtspflege und Verbeiständung.
E.
Die Oberstaatsanwaltschaft des Kantons Zürich beantragt, die Beschwerde sei abzuweisen. Das Obergericht verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Der Beschwerdeführer macht geltend, er habe im vorinstanzlichen Verfahren beantragt, er sei im Rahmen der Überprüfung der Verwahrung gemäss Ziff. 2 Abs. 2 der Schlussbestimmungen der Änderungen des Strafgesetzbuches vom 13. Dezember 2002 (SchlBestStGB) aus der Verwahrung zu entlassen. Die Vorinstanz sei darauf zu Unrecht nicht eingetreten.
Die Vorinstanz erwägt diesbezüglich, dass nach dem Wortlaut von Ziff. 2 Abs. 2 SchlBestStGB einzig zu prüfen sei, ob bei Personen, die nach den bis zum 31. Dezember 2006 geltenden Art. 42 oder <ref-law> verwahrt sind, die Voraussetzungen für eine therapeutische Massnahme erfüllt sind. Sei dies nicht der Fall, müsse die Verwahrung nach der bundesgerichtlichen Rechtsprechung selbst dann weitergeführt werden, wenn die neuen Voraussetzungen von <ref-law> nicht erfüllt seien. Dem Verwahrten stehe es frei, bei der Vollzugsbehörde ein Gesuch um Entlassung gestützt auf Art. 64a und Art. 64b StGB zu stellen. Als Beschwerdeinstanz sei das Obergericht dafür nicht zuständig.
1.2.
1.2.1. Am 1. Januar 2007 ist das neue Massnahmerecht in Kraft getreten. Ziff. 2 Abs. 1 SchlBestStGB sieht vor, dass die Bestimmungen des neuen Rechts über die Massnahmen (Art. 56-65 StGB) und über den Massnahmenvollzug (<ref-law>) auch auf Täter anwendbar sind, die vor deren Inkrafttreten eine Tat begangen haben oder beurteilt worden sind. Gemäss Ziff. 2 Abs. 2 SchlBestStGB überprüft das Gericht bis spätestens zwölf Monate nach Inkrafttreten des neuen Rechts, ob bei Personen, die nach den Art. 42 oder 43 Ziff. 1 Abs. 2 StGB des bisherigen Rechts verwahrt sind, die Voraussetzungen für eine therapeutische Massnahme (Art. 59-61 oder 63 StGB) erfüllt sind. Trifft dies zu, so ordnet das Gericht die entsprechende Massnahme an; andernfalls wird die Verwahrung nach neuem Recht weitergeführt.
Gemäss <ref-law> setzt die Anordnung einer Massnahme voraus, dass eine Strafe alleine nicht geeignet ist, die Gefahr weiterer Straftaten des Täters zu begegnen (lit. a), ein Behandlungsbedürfnis des Täters besteht oder die öffentliche Sicherheit dies erfordert (lit. b) und die Voraussetzungen der Artikel 59-61, 63 oder 64 StGB erfüllt sind (lit. c). Eine Massnahme, für welche die Voraussetzungen nicht mehr erfüllt sind, ist gemäss <ref-law> aufzuheben.
Das Bundesgericht hat - wie die Vorinstanz zutreffend erwähnt - in <ref-ruling> festgehalten, dass - sofern eine therapeutische Massnahme nicht in Frage kommt - eine nach altem Recht angeordnete Verwahrung selbst dann nach neuem Recht weiterzuführen ist, wenn die Voraussetzungen von <ref-law> nicht erfüllt sind (E. 1.2.1). Dem Verwahrten stehe es dennoch frei, seine bedingte Entlassung gemäss Art. 64a und Art. 64b StGB bei der dafür zuständigen Behörde zu beantragen (E. 1.2.2). In seiner späteren Rechtsprechung hat das Bundesgericht aber auch festgehalten, dass die in <ref-law> enthaltene Regelung weit auszulegen sei. Eine Massnahme sei nicht nur dann aufzuheben, wenn die Anordnungsvoraussetzungen einer Massnahme nachträglich entfallen, sondern auch dann, wenn sie von Anfang an gar nicht vorgelegen haben. Dies ergebe sich aus dem Grundsatz der Verhältnismässigkeit, der in <ref-law> konkretisiert werde und im gesamten Massnahmerecht, sowohl bei der Anordnung als auch bei Folgeentscheidungen wie beispielsweise die Nichtaufhebung bzw. Weiterführung der Massnahme, uneingeschränkt gelte. Eine unverhältnismässige Massnahme dürfe nicht angeordnet und auch nicht aufrechterhalten werden; sie müsse vielmehr aufgehoben werden (Urteil 6B_798/2014 vom 20. Mai 2015 E. 2, nicht publiziert in: <ref-ruling>).
Die Erfüllung der Bedingungen von <ref-law> ist nur eine der Voraussetzungen, damit eine Massnahme gemäss <ref-law> überhaupt angeordnet werden darf. In <ref-ruling> hat das Bundesgericht einzig festgehalten, dass eine nach altem Recht angeordnete Massnahme unter Umständen weitergeführt werden darf, wenn die Voraussetzungen von <ref-law> nicht mehr erfüllt sind. Aus dem erwähnten Entscheid kann hingegen nicht abgeleitet werden, dass eine Verwahrung aufrechterhalten werden darf, wenn die übrigen Voraussetzungen von Art. 56 Abs. 1 und 2 StGB nicht gegeben sind. Diese müssen stets vorliegen und nach der erwähnten Rechtsprechung auch im Rahmen von Folgeentscheidungen - worunter das Verfahren gemäss Ziff. 2 Abs. 2 SchlBestStGB fällt - beachtet werden. Die Vorinstanz durfte nicht davon absehen, umfassend zu prüfen, ob die Voraussetzungen für eine Massnahme weiterhin gegeben sind.
2.
Die Beschwerde ist gutzuheissen. Der angefochtene Beschluss ist aufzuheben und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Es erübrigt sich, auf die weiteren Rügen des Beschwerdeführers einzugehen.
Für das bundesgerichtliche Verfahren sind keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Beschwerdeführer hat Anspruch auf eine angemessene Parteientschädigung (<ref-law>). Diese ist praxisgemäss dem Rechtsvertreter auszurichten. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung wird gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Beschluss des Obergerichts des Kantons Zürich vom 27. April 2017 wird aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Es werden keine Kosten erhoben.
3.
Der Kanton Zürich hat dem Vertreter des Beschwerdeführers, Rechtsanwalt Dr. Andres Büsser, eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 27. April 2018
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Moses