Sachverhalt:
A.
A._ wurde am 18. März 2004 wegen Vergewaltigung und sexueller Nötigung zu einer Zuchthausstrafe von 4 Jahren verurteilt. Der Vollzug der Strafe wurde zugunsten einer Verwahrung aufgeschoben.
B.
Das Bezirksgericht Affoltern beschloss am 18. Mai 2015, dass die Verwahrung nach neuem Recht weitergeführt werde. Die dagegen gerichtete Beschwerde von A._ wies das Obergericht des Kantons Zürich am 27. April 2017 ab. Am 27. April 2018 hob das Bundesgericht den Entscheid des Obergerichts auf und wies die Sache zu neuer Entscheidung an die Vorinstanz zurück (Urteil 6B_669/2017).
C.
Das Obergericht fällte am 28. Februar 2020 einen neuen Entscheid. Es hob die am 18. März 2004 angeordnete Verwahrung auf und ordnete eine stationäre therapeutische Massnahme im Sinne von <ref-law> an.
D.
A._ führt Beschwerde in Strafsachen. Er beantragt, der Beschluss des Obergerichts vom 28. Februar 2020 sei hinsichtlich der Anordnung einer stationären therapeutischen Massnahme aufzuheben und er sei aus der Massnahme zu entlassen. Eventualiter sei die Sache zur Regelung einer ambulanten therapeutischen Massnahme, subeventualiter eines offenen Vollzugs, an die Vorinstanz zurückzuweisen. Für das Verfahren vor dem Bundesgericht sei ihm die unentgeltliche Rechtspflege und Verbeiständung zu gewähren.
E.
Am 15. Mai 2020 entzog der Präsident der Strafrechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung. In ihrer Vernehmlassung vom 24. Juni 2020 beantragt die Oberstaatsanwaltschaft des Kantons Zürich die Abweisung der Beschwerde. Das Obergericht verzichtet auf eine Stellungnahme.

Erwägungen:
1.
1.1. Der Beschwerdeführer rügt zusammengefasst, dass die Anordnung einer stationären Massnahme im Sinne von <ref-law> nicht verhältnissmässig sei, weil aufgrund seiner körperlichen Beschwerden keine Rückfallgefahr mehr bestehe.
1.2. Zur Frage der körperlichen Leistungsfähigkeit erwägt die Vorinstanz, der Beschwerdeführer sei gemäss dem Gutachten vom 10. Juli 2018 aktuell nicht in der Lage, eine jüngere bzw. mittelalterliche (recte: mittelaltrige) Person weiblichen Geschlechts zu verfolgen. Weiter führe der Gutachter aus, dass der Beschwerdeführer, sobald er seine aktuelle Umgebung des Gefängnistraktes verlasse, theoretisch ein intensives Training beginnen könnte, um die Zeichen der Dekonditionierung zu verbessern, wobei eine höhere Intensität und damit das Erreichen einer verbesserten Leistung aufgrund der Angina pectoris wahrscheinlich eher über einen Zeitraum von Jahren möglich sei. Die kurzfristige Kraft im Bereich der oberen und unteren Extremitäten sei gemäss dem Gutachten unauffällig, womit ein kurzfristiges festes Zupacken und das Austeilen von kraftvollen Schlägen über einen kurzen Zeitraum gut vorstellbar sei. Der Beschwerdeführer habe deshalb die Möglichkeit, einen kurzen Kampf zu führen. Im Gutachten vom 10. Juli 2018 werde schliesslich festgehalten, dass der Beschwerdeführer aus körperlichen Gründen mittlerweile kaum mehr in der Lage sei, durch Kampfhandlungen sexuelle Übergriffe zu ermöglichen bzw. Opfer im Kampf zu überwältigen oder zu Fuss zu verfolgen.
Die Vorinstanz erwägt, es sei nachvollziehbar und überzeugend, wenn der Gutachter davon ausgehe, dass die körperlichen Komplikationen das Risiko weiterer Gewalt- und Sexualdelikte senken würden. Wie sich aus den gutachterlichen Ausführungen ergebe, könne der Beschwerdeführer zwar keine längeren Kampfhandlungen mehr ausführen. Er sei aber noch in der Lage, einen kurzzeitigen körperlichen Kampf zu führen. Dass die körperliche Leistungseinschränkung einen gewaltsamen Übergriff daher nicht vollständig ausschliesse, sei insofern nachvollziehbar (Beschluss, S. 46 f.).
1.3.
1.3.1. Nach <ref-law> setzt die Anordnung einer Massnahme voraus, dass der mit ihr verbundene Eingriff in die Persönlichkeitsrechte des Täters im Hinblick auf die Wahrscheinlichkeit und Schwere weiterer Straftaten nicht unverhältnismässig ist. Bei der Prüfung des Verhältnismässigkeitsgrundsatzes sind die Sicherheitsbelange der Allgemeinheit und der Freiheitsanspruch des Betroffenen gegeneinander abzuwägen (<ref-ruling> E. 5.4 mit Hinweisen). Es kommt insbesondere darauf an, ob und welche Straftaten vom Massnahmeunterworfenen drohen, wie ausgeprägt das Mass der Gefährdung ist und welches Gewicht den bedrohten Rechtsgütern zukommt (Urteil 6B_115/2020 vom 30. April 2020 E. 2.3 mit Hinweis). Bei langandauernder Unterbringung gewinnt der Freiheitsanspruch des Eingewiesenen zunehmend an Gewicht. Je länger der Freiheitsentzug gedauert hat, umso strengere Anforderungen sind an die Art und Wahrscheinlichkeit künftiger Straftaten zu stellen (<ref-ruling> E. 3.2; Urteil 6B_643/2018 vom 5. September 2018 E. 1.2.2; je mit Hinweisen).
1.3.2. Auf die Frage, ob beim Beschwerdeführer ein Rückfallrisiko bezüglich schwerer Sexualdelikte "wie beispielsweise Vergewaltigung (z.B. mit Penetration und Gewalteinwirkung) " und mittelgradig schwerer Sexualdelikte (als "sexuelle Handlungen ohne Zwang und Penetration, Vergewaltigung ohne direkte Gewaltanwendung etc." definiert) vorliege, antwortete Prof. Dr. med. B._ in seinem Gutachten vom 10. Juli 2018, der Beschwerdeführer sei zum Zeitpunkt der Verhandlung im Jahr 2002 betreffs schwerer Sexualdelikte zweifelsohne als Hochrisikoklient einzuordnen gewesen. Dieses Risiko habe sich mittlerweile aufgrund von Alters- und gesundheitlichen Einflüssen auf ein durchschnittliches bzw. leicht erhöhtes Risiko abgeschwächt, jedoch würden persönlichkeitsgebundene Risiken fortbestehen. Aus körperlichen Gründen sei der Beschwerdeführer kaum mehr in der Lage, durch Kampfhandlungen sexuelle Übergriffe zu ermöglichen bzw. Opfer im Kampf zu überwältigen oder zu Fuss zu verfolgen (Akten Vorinstanz, act. 44, S. 148).
Entscheidend ist im vorliegenden Fall nicht primär, ob aus psychiatrischer Sicht ein Rückfallrisiko besteht, sondern ob sich dieses aufgrund der körperlichen Einschränkungen des Beschwerdeführers verwirklichen kann. Dass ein gewaltsamer Übergriff nicht vollständig ausgeschlossen werden kann, genügt - namentlich unter Berücksichtigung der Tatsache, dass der Freiheitsentzug bereits seit 2002 und mithin seit 18 Jahren ununterbrochen andauert - alleine nicht, um eine strafrechtliche Massnahme im Sinne von <ref-law> unter dem Blickwinkel der Verhältnismässigkeit weiterhin zu rechtfertigen. Massgebend ist vielmehr, welches konkretes Risiko vom Beschwerdeführer (noch) ausgeht. Der Gutachter attestiert dem Beschwerdeführer einerseits ein "durchschnittliches bzw. leicht erhöhtes Risiko", andererseits geht er davon aus, dass der Beschwerdeführer kaum in der Lage sei, sexuelle Übergriffe durch Kampfhandlungen zu ermöglichen bzw. das Opfer zu überwältigen oder zu verfolgen. Der Beschwerdeführer sei aber in der Lage, kurzzeitig fest zuzupacken oder ebenfalls kurzzeitig kraftvolle Schläge auszuteilen. Dazu, welche konkreten Risiken aufgrund dieser noch vorhandenen Fähigkeiten vom Beschwerdeführer ausgehen, äussert sich der Gutachter nicht. Die Sache ist deshalb zur Ergänzung des Gutachtens und beförderlicher Behandlung an die Vorinstanz zurückzuweisen.
2.
2.1. Die Beschwerde ist gutzuheissen. Der angefochtene Entscheid ist aufzuheben und die Sache an die Vorinstanz zurückzuweisen. Es erübrigt sich, auf die weiteren Vorbringen des Beschwerdeführers einzugehen.
2.2. Für das bundesgerichtliche Verfahren sind keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Beschwerdeführer hat Anspruch auf eine angemessene Entschädigung (<ref-law>). Diese ist praxisgemäss dem Rechtsvertreter auszurichten. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Beschluss des Obergerichts des Kantons Zürich vom 28. Februar 2020 wird aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Es werden keine Kosten erhoben.
3.
Der Kanton Zürich hat dem Vertreter des Beschwerdeführers, Rechtsanwalt Dr. Andres Büsser, eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 4. November 2020
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Moses