Sachverhalt:
A. Das Obergericht des Kantons Zürich sprach X._ am 30. Mai 1997 der Vergewaltigung, des Raubes sowie der Anstiftung zu falschem Zeugnis schuldig und verurteilte ihn zu einer Zuchthausstrafe von sieben Jahren. Der Freiheitsentzug wurde zugunsten einer Verwahrung gemäss Art. 42 aStGB aufgeschoben.
B. Im Zuge der Überprüfung der altrechtlichen Verwahrungen nach Inkrafttreten des neuen Allgemeinen Teils des Strafgesetzbuchs entschied das Obergericht des Kantons Zürich mit Beschluss vom 1. Dezember 2008, auf die Anordnung einer stationären Massnahme gemäss <ref-law> zu verzichten und die nach Art. 42 aStGB ausgesprochene Verwahrung nach neuem Recht weiterzuführen.
Gegen diesen Entscheid des Obergerichts erhob X._ Nichtigkeitsbeschwerde beim Kassationsgericht des Kantons Zürich, das mit Zirkulationsbeschluss vom 15. Februar 2010 auf die Beschwerde nicht eintrat.
C. X._ führt Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, der Beschluss des Obergerichts des Kantons Zürich vom 1. Dezember 2008 sei aufzuheben, und die Sache sei zur neuen Beurteilung und Entscheidung an die Vorinstanz zurückzuweisen. Die Kosten des Verfahrens inklusive derjenigen der amtlichen Verteidigung seien auf die Gerichtskasse zu nehmen. Ihm seien zudem die unentgeltliche Rechtspflege zu gewähren und Rechtsanwalt Thomas Fingerhuth als amtlicher Verteidiger zu bestellen.
D. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Das dem vorinstanzlichen Entscheid zugrundeliegende Gutachten, das dem Beschwerdeführer eine schlechte Legalprognose stellt, stützt sich einerseits auf seine eigenen Angaben, andererseits auf die zur Verfügung stehenden Untersuchungsakten.
Der Beschwerdeführer macht geltend, die zahlreichen im Gutachten erwähnten Vordelikte dürften nicht zu seinen Ungunsten verwendet werden, da diese allesamt als aus dem Strafregister "Entfernt" hätten qualifiziert werden müssen. Diese entfernten Urteile dürften ihm nach <ref-law> nicht mehr entgegengehalten bzw. daran keine Rechtsfolgen mehr geknüpft werden. Im Gegensatz zum deutschen Recht, das die gutachterliche Tätigkeit vom Verwertungsverbot ausdrücklich ausnehme und ein Rückgriff auf solche Akten erlaube, existiere im schweizerischen Recht mit Blick auf den klaren Wortlaut von <ref-law> keine solche Ausnahmebestimmung. Ohne die Einholung eines neuen Gutachtens könne daher nicht behauptet werden, die Legalprognose sei schlecht. Vielmehr sei vom Gegenteil auszugehen, weshalb die Voraussetzung zur Anordnung einer Verwahrung nicht gegeben und eine stationäre Massnahme anzuordnen sei. Dem Sicherheitsbedürfnis könne insofern Rechnung getragen werden, als diese Massnahme in einer Strafanstalt zu vollziehen wäre.
1.2 Die Vorinstanz erwägt, dass nach einer Löschung und Entfernung der Vorstrafen aus dem Strafregister gemäss <ref-law> nicht sämtliche Verfahrensakten sofort aus den kantonalen und eidgenössischen Archiven zu entfernen seien. <ref-law> spreche nur von Strafregisterdaten, und auch Absatz 7 derselben Bestimmung sehe vor, dass Einträge im Strafregister nach der Entfernung nicht mehr rekonstruierbar sein dürften. Es gehe daher nur um die Daten, nicht um die dazugehörigen Akteninhalte. Was mit den Akten zu geschehen habe, regle das eidgenössische Archivierungsgesetz, das die Archivierung von Unterlagen der Kantone, die beim Vollzug von Bundesaufgaben entstünden, in der Zuständigkeit der Kantone belasse. Einschlägig seien daher deren kantonale Archivierungsbestimmungen.
Hinsichtlich der Beizugsmöglichkeit archivierter Strafakten, die aus dem Strafregister entfernte Urteile betreffen, führt die Vorinstanz aus, ein Gutachter müsse sich ein umfassendes Bild über den Exploranden machen können. Hierzu sei er auf frühere Gutachten und Sachverhaltsfeststellungen im Zusammenhang mit gleichgelagerten Delikten angewiesen. Nur so könne der Gutachter eine aussagekräftige Persönlichkeitsbeurteilung abgeben und eine geeignete Therapie vorschlagen bzw. von einer Therapie abraten. Ein generelles Verwertungsverbot für weit zurückliegende Vorstrafen bzw. die hieraus resultierenden Akten bestünde nicht. Die Verwertungsfrage sei im Einzelfall zu prüfen. Vorstrafen bildeten Teil der Lebensgeschichte, welche die Grundlage der Begutachtung bilde. Die Verwertung der Vorstrafen sei daher nicht zu beanstanden, sondern vielmehr zwingend notwendig.
1.3 Nach <ref-law> dürfen Eintragungen im Strafregister nach deren Entfernung nicht mehr rekonstruierbar sein. Das entfernte Urteil darf dem Betroffenen nicht mehr entgegengehalten werden. Aus dem gesetzgeberischen Willen der vollständigen Rehabilitation muss gefolgert werden, dass entfernte Urteile weder bei der Strafzumessung noch bei der Prognosebeurteilung zu Lasten des Betroffenen verwendet werden dürfen. Diese Verwertungseinschränkung ist gerechtfertigt, da die Vortaten aufgrund der grosszügig bemessenen Entfernungsfristen (vgl. <ref-law>) mitunter Jahrzehnte zurückliegen. Nach Ablauf dieser Fristen sind die Rehabilitierungs- und Resozialisierungsinteressen des Betroffenen von Gesetzes wegen schwerer zu gewichten als die öffentlichen Informations- und Strafbedürfnisse (<ref-ruling> E. 2.4 mit Hinweisen). Hieraus folgt nicht, dass medizinische Sachverständige, wenn sie im Rahmen ihrer Exploration von entfernten Vorstrafen erfahren oder ihnen solche aus früheren Behandlungen bekannt sind, diese bei ihrer Begutachtung einfach ausblenden können. Vielmehr haben sie solche Umstände zu berücksichtigen, ansonsten sie ein fehlerhaftes medizinisches Urteil abgeben würden (<ref-ruling> E. 2.5 mit Hinweis).
1.4 Der Beschwerdeführer führt diese bundesgerichtliche Rechtsprechung in seiner Beschwerdeschrift an, kritisiert hierbei jedoch, dass das Bundesgericht im erwähnten Entscheid Bezug auf das deutsche Recht nimmt, obwohl dieses, im Gegensatz zum schweizerischen Recht, die gutachterliche Tätigkeit vom Verwertungsverbot entfernter Strafregistereinträge ausdrücklich ausnehme. Er übersieht dabei, dass das Bundesgericht das deutsche Recht lediglich als Rechtsvergleich beizieht und gestützt auf die schweizerische Rechtslage eine Sonderung zwischen (medizinischer) Realprognose und (gerichtlicher) Legalprognose vornimmt. Daran ist festzuhalten. Während im Rahmen der gerichtlichen Legalprognose das Verwertungsverbot gemäss <ref-law> Platz greift, ist, wie bereits unter dem alten Recht sowie der diesbezüglichen Rechtsprechung, ein Verwertungsverbot in Bezug auf medizinische Gutachten abzulehnen. Im Gegensatz zu den Strafbehörden dürfen die medizinischen Gutachter somit aktenkundige Hinweise auf entfernte Strafen und insbesondere frühere Gutachten berücksichtigen.
1.5 Um eine Umgehung des gerichtlichen Verwertungsverbots gemäss <ref-law> zu verhindern, muss in der Begutachtung allerdings offengelegt werden, inwiefern die frühere (aus dem Strafregister entfernte) mit der jüngeren (nicht entfernten) Delinquenz in Zusammenhang steht (Konnexität) und wie stark sich diese weit zurückliegenden Taten noch auf das gutachterliche Realprognoseurteil auswirken (Relevanz). So kann auch für die gerichtliche Beurteilung gewährleistet werden, dass allfällige Schlechtprognosen nur im Umfang der noch eingetragenen Vorverurteilungen berücksichtigt werden (vgl. <ref-ruling> E. 2.5 mit Hinweisen).
Es besteht kein Anlass (und der Beschwerdeführer zeigt einen solchen auch nicht auf), auf die bundesgerichtliche Rechtsprechung zurückzukommen.
2. Die Beschwerde ist abzuweisen. Da das Rechtsmittel von vornherein aussichtslos war, kann dem Gesuch um unentgeltliche Rechtspflege nicht entsprochen werden (<ref-law>). Die Kosten des Verfahrens vor Bundesgericht sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Dabei ist seinen finanziellen Verhältnissen Rechnung zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, III. Strafkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 3. Mai 2010
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Keller