Sachverhalt:
A. Gegen X._ wurden in der Vergangenheit wegen wiederholter Brandstiftung, Verursachung einer Feuersbrunst und zahlreicher Vermögensdelikte mehrmals Zuchthausstrafen ausgesprochen, die zugunsten einer altrechtlichen Verwahrung nach Art. 43 Ziff. 1 Abs. 2 aStGB aufgeschoben wurden (vgl. Urteil des Obergerichts des Kantons Zürich vom 25. Juli 1984, Urteil des Bezirksgerichts Obertoggenburg vom 14. Februar 1986, Urteil des Bezirksgerichts Horgen vom 20. Juni 1995).
Der Vollzug der Verwahrung erfolgte anfänglich in der psychiatrischen Klinik Rheinau. Am 20. Februar 1992 wurde X._ mit Wirkung ab 14. März 1992 provisorisch aus dem Vollzug entlassen. Wegen erneuter einschlägiger Delinquenz wurde er am 24. Mai 1995 in die Verwahrung zurückversetzt und zum Vollzug in die kantonale Strafanstalt Pöschwies eingewiesen. In der Folge erhielt X._ schrittweise Vollzugserleichterungen. Am 4. Juli 2003 wurde er in den offenen Vollzug versetzt. Gleichzeitig wurden ihm unbegleitete Beziehungsurlaube bis zu 32 Stunden bewilligt.
Die Bezirksanwaltschaft Zürich befand X._ mit Strafbefehl vom 20. Februar 2004 der mehrfachen Pornographie im Sinne von <ref-law> für schuldig und bestrafte ihn mit fünf Tagen Gefängnis. In Missachtung des genehmigten Urlaubsprogramms hatte er in einem Internet-Café unerlaubte Internetseiten mit Kinderpornographie angeschaut und diese zu speichern versucht. Eine spätere Durchsuchung seines Zimmers ergab, dass er bei früheren Besuchen dieses Cafés bereits entsprechende Bilder auf die Festplatte seines Computers heruntergeladen hatte. X._ wurde deshalb am 7. April 2004 in den geschlossenen Vollzug zurückverlegt, und es wurden ihm nur noch begleitete Beziehungsurlaube bis zu 12 Stunden bewilligt.
Nach erneuter Versetzung in den offenen Vollzug im Dezember 2004 wurde X._ am 20. April 2006 anlässlich eines Urlaubs zwecks Besuchs einer Gruppentherapie abermals in einem Internet-Café angetroffen. Da der Verdacht bestand, er habe sich Bilder kinderpornographischen Inhalts angeschaut, wurde er am 17. Juli 2006 in den geschlossenen Verwahrungsvollzug zurückversetzt, und es wurden ihm sämtliche Vollzugslockerungen entzogen. Das eingeleitete Strafverfahren wegen Pornographie im Sinne von <ref-law> wurde am 14. September 2007 eingestellt.
B. Infolge der Revision des Allgemeinen Teils des Strafgesetzbuches überprüfte das Obergericht des Kantons Zürich auf Antrag des Sonderdienstes des Amts für Justizvollzug des Kantons Zürich hin die Verwahrung von X._. Am 6. Februar 2008 beschloss es, dass keine therapeutische Massnahme im Sinne von Art. 59-61 oder 63 StGB angeordnet und die Verwahrung nach neuem Recht weitergeführt wird. Die dagegen gerichtete kantonale Nichtigkeitsbeschwerde wies das Kassationsgericht des Kantons Zürich am 8. Mai 2009 ab, soweit es darauf eintrat.
C. X._ gelangt mit Beschwerde in Strafsachen an das Bundesgericht. Er beantragt die Aufhebung der angefochtenen Entscheide des Ober- und des Kassationsgerichts und die Anordnung einer stationären therapeutischen Massnahme im Sinne von <ref-law>. Eventualiter sei die Sache zur Neubeurteilung nach Einholung eines Gutachtens über seine Massnahmefähigkeit an die kantonalen Instanzen zurückzuweisen. Überdies ersucht er um Gewährung der unentgeltlichen Rechtspflege.
D. Das Obergericht, das Kassationsgericht und die Oberstaatsanwaltschaft des Kantons Zürich verzichteten auf eine Vernehmlassung zur Beschwerde.

Erwägungen:
1. Gemäss Ziff. 2 Abs. 2 SchlBestStGB überprüft das Gericht bis spätes-tens zwölf Monate nach Inkrafttreten des neuen Rechts, ob bei Personen, die nach den Artikeln 42 oder 43 Ziffer 1 Absatz 2 des bisherigen Rechts verwahrt sind, die Voraussetzungen für eine therapeutische Massnahme (Art. 59-61 oder 63) erfüllt sind. Trifft dies zu, so ordnet das Gericht die entsprechende Massnahme an; andernfalls wird die Verwahrung nach neuem Recht weitergeführt.
Das Gericht stützt sich beim Entscheid über die Anordnung einer therapeutischen Massnahme sowie bei der Änderung der Sanktion auf eine sachverständige Begutachtung. Diese äussert sich über (lit. a) die Notwendigkeit und die Erfolgsaussichten einer Behandlung eines Täters, (lit. b) die Art und die Wahrscheinlichkeit weiterer möglicher Straftaten, und (lit. c) die Möglichkeiten des Vollzugs der Massnahme (<ref-law>). Eine sachverständige Begutachtung muss auch vorliegen, wenn das Gericht in Anwendung von Art. 2 Abs. 2 SchlBestStGB darüber zu befinden hat, ob gegenüber einem altrechtlich verwahrten Täter eine therapeutische Massnahme anzuordnen oder die Verwahrung nach neuem Recht weiterzuführen ist (<ref-ruling> E. 4.3.1; Urteil des Bundesgerichts vom 16. Februar 2009 6B_937/2008 E. 2.1).
2. 2.1 Das Obergericht stellte bei seinem Entscheid betreffend die Verwahrungsüberprüfung des Beschwerdeführers auf die vier bei den Akten liegenden Gutachten und den Therapiebericht des PPD vom 30. März 2006 ab. Ob es diese in vertretbarer Weise gewürdigt bzw. das Kassationsgericht die obergerichtliche Beweiswürdigung zu Recht als nicht willkürlich geschützt hat, kann vorliegend dahingestellt bleiben, weil die fraglichen Gutachten unter Einschluss des Therapieberichts aus nachstehenden Gründen als Entscheidungsgrundlagen nicht ausreichen.
2.2 Das erste Gutachten von Dr. med. A._ von der psychiatrischen Klinik Rheinau datiert vom 23. März 1984, das zweite von Dr. med. B._, Spezialarzt FMH für Psychiatrie und Psychotherapie, vom 8. Mai 1995. Beide Gutachten wurden im Zusammenhang mit Strafverfahren erstellt, in deren Rahmen abzuklären war, ob über den damals 22 bzw. 33 Jahre alten Beschwerdeführer allenfalls eine Massnahme nach Art. 43 aStGB zu verhängen sei. Die beiden Gutachten wurden somit unter der Geltung des alten Rechts und der diesbezüglichen Rechtsprechung erstellt und waren bei der Ausfällung des angefochtenen Entscheids des Obergerichts bzw. desjenigen des Kassationsgerichts bereits 24 bzw. 25 und rund 13 bzw. 14 Jahre alt. Die beiden Gutachten befassen sich mit dem Geisteszustand, der Behandelbarkeit sowie der Rückfallgefährlichkeit des Beschwerdeführers sowie seiner Legalprognose. Übereinstimmend ist ihnen zu entnehmen, dass der Beschwerdeführer an einem für die Delinquenz kausalen, abnormen Geisteszustand leidet, er die öffentliche Sicherheit in schwerwiegender Weise gefährdet und er nach Ansicht der beiden Sachverständigen in einem geschlossenen Rahmen untergebracht werden muss. Während Dr. med. A._ die psychische Entwicklung des Beschwerdeführers im Jahre 1984 noch lange nicht für abgeschlossen betrachtete, er deshalb eine Einweisung in eine Arbeitserziehungsanstalt befürwortete und davon ausging, dass sich die Rückfallgefährlichkeit des Beschwerdeführers bei erfolgreichem Massnahmenvollzug zumindest vermindern lasse (vgl. Gutachten Dr. med. A._ S. 42 und 44), war Dr. med. B._ im Jahre 1995 davon überzeugt, dass zumindest "zur Zeit" keine Massnahmen oder Therapien bestünden, die Aussicht hätten, den psychischen Zustand des Beschwerdeführers zu verbessern (vgl. Gutachten Dr. med. B._ S. 32). Was seit Mai 1995 geschehen ist, berücksichtigen die unter dem Aspekt ihres Alters als nicht mehr aktuell zu bezeichnenden Gutachten nicht.
Das Gutachten von Dr. C._ vom 6. April 2000 wurde im Auftrag und zu Handen des Amts für Straf- und Massnahmenvollzug (heute Sonderdienst) des Kantons Zürich erstellt und war im Zeitpunkt der Ausfällung des obergerichtlichen Entscheids rund acht Jahre alt. Gegenstand dieses Gutachtens bilden im Wesentlichen Fragen zur Gewährung von Vollzugserleichterungen wie etwa unbegleitete Urlaube oder die Versetzung des Beschwerdeführers in den offenen Vollzug. Auch das vierte und jüngste Gutachten von Dr. med. D._ vom 17. März 2005, welcher sich insbesondere auch zu den "pädosexuellen Tendenzen" beim Beschwerdeführer zu äussern hatte, wurde vom Sonderdienst im Hinblick auf die Überprüfung der Rückversetzung des Beschwerdeführers in den geschlossenen Vollzug und die weitere Vollzugsplanung in Auftrag gegeben. Beide Gutachten, insbesondere dasjenige von Dr. med. D._, enthalten zwar auch Ausführungen zum Geisteszustand, zur Behandelbarkeit und Rückfallgefährlichkeit des Beschwerdeführers sowie zu Therapiemöglichkeiten. Diese gutachterlichen Ausführungen sind aber im Hinblick auf die zu beantwortenden Fragen der Vollzugsplanung im Rahmen der Gutachtensaufträge erfolgt und können insoweit nicht unbesehen auf die hier zu beurteilende Problematik angewandt werden. Zu den Erfolgsaussichten einer stationären therapeutischen Behandlung und zu den Möglichkeiten des Vollzugs einer solchen Massnahme nehmen die beiden Gutachter, die hierzu auch gar nicht befragt wurden, nicht spezifisch Stellung. Dieser Ansicht war - jedenfalls in Bezug auf das Gutachten von Dr. med. D._ vom 17. März 2005 - auch die Oberstaatsanwaltschaft des Kantons Zürich, welche in ihrem Plädoyer vor Obergericht deshalb im Eventualstandpunkt die Einholung eines unabhängigen Sachverständigengutachtens beantragte (vgl. kantonale Akten Urk. 21).
Der vom Obergericht ergänzend herangezogene Therapiebericht des PPD vom 30. März 2006 erfüllt die Anforderungen an ein Gutachten selbstredend nicht (vgl. hierzu MARIANNE HEER, in Basler Kommentar, Strafrecht I, 2. Auflage, 2007, Art. 56 N. 49 und 60).
2.3 Gesamthaft gesehen liegt somit kein psychiatrisches Gutachten im Sinne von <ref-law> i.V.m. Art. 2 Abs. 2 SchlBestStGB vor, welches sich speziell zur Behandlungsfähigkeit des Beschwerdeführers, zu den Erfolgsaussichten einer stationären therapeutischen Behandlung und zu den Möglichkeiten des Vollzugs einer solchen Massnahme unter Berücksichtigung der vom Beschwerdeführer ausgehenden Gefahr äussert. Bei dieser Sachlage hat das Obergericht ein Gutachten zu diesen Fragen einzuholen und wird es nach Eingang dieses Gutachtens darüber zu befinden haben, ob eine stationäre Massnahme anzuordnen oder aber die Verwahrung nach neuem Recht weiterzuführen ist. Dabei wird sich das Obergericht im Rahmen seiner Entscheidfindung vor Augen halten müssen, dass eine stationäre therapeutische Massnahme im Sinne von <ref-law> anzuordnen ist, wenn die hinreichende Wahrscheinlichkeit besteht, dass durch eine stationäre Behandlung über die Dauer von fünf Jahren die Gefahr von weiteren mit der psychischen Störung im Zusammenhang stehenden Straftaten im Sinne von <ref-law> deutlich verringert wird. Nicht erforderlich ist hingegen eine hinreichende Wahrscheinlichkeit, dass bereits nach einer stationären Behandlung von fünf Jahren die Voraussetzungen für eine bedingte Entlassung aus der Massnahme gemäss <ref-law> erfüllt sind. Bei Bedarf besteht hier vielmehr die Möglichkeit der (mehrmaligen) Verlängerung der stationären therapeutischen Massnahme um jeweils fünf Jahre (<ref-ruling> E. 3.4.1; <ref-law>). Soweit das Obergericht vorliegend höhere Anforderungen an das Ausmass, die Wahrscheinlichkeit und/oder zeitliche Nähe des Erfolgs einer stationären therapeutischen Massnahme stellt, geht es von unzutreffenden rechtlichen Voraussetzungen aus und erweist sich der angefochtene Beschluss deshalb auch insoweit als bundesrechtswidrig (vgl. angefochtenen Beschluss, S. 12 und 13).
3. Die Beschwerde ist somit im Sinne des Eventualantrags gutzuheissen und die Beschlüsse des Obergerichts des Kantons Zürich vom 6. Februar 2008 sowie des Kassationsgerichts des Kantons Zürich vom 8. Mai 2009 sind aufzuheben. Die Sache ist zur Einholung eines Gutachtens und zur neuen Entscheidung an das Obergericht zurückzuweisen.
Das Gesuch um unentgeltliche Rechtspflege ist gegenstandslos geworden. Es sind keine Gerichtskosten zu erheben. Der Kanton Zürich hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird im Sinne des Eventualantrags gutgeheissen, die Beschlüsse des Obergerichts des Kantons Zürich vom 6. Februar 2008 und des Kassationsgerichts des Kantons Zürich vom 8. Mai 2009 werden aufgehoben, und die Sache wird im Sinne der Erwägungen an das Obergericht zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Zürich hat den Vertreter des Beschwerdeführers, Rechtsanwalt Thomas Heeb, für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, III. Strafkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 3. September 2009
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Die Gerichtsschreiberin:
Schneider Arquint Hill