Sachverhalt: A. Das Obergericht des Kantons Zürich sprach X._ am 30. Mai 1997 der Vergewaltigung, des Raubes sowie der Anstiftung zu falschem Zeugnis schuldig und verurteilte ihn zu einer Zuchthausstrafe von sieben Jahren. Der Freiheitsentzug wurde zugunsten einer Verwahrung gemäss Art. 42 aStGB aufgeschoben. B. Im Zuge der Überprüfung der altrechtlichen Verwahrungen nach Inkrafttreten des neuen Allgemeinen Teils des Strafgesetzbuchs entschied das Obergericht des Kantons Zürich mit Beschluss vom 1. Dezember 2008, auf die Anordnung einer stationären Massnahme gemäss Art. 59 ff. StGB zu verzichten und die nach Art. 42 aStGB ausgesprochene Verwahrung nach neuem Recht weiterzuführen. Gegen diesen Entscheid des Obergerichts erhob X._ Nichtigkeitsbeschwerde beim Kassationsgericht des Kantons Zürich, das mit Zirkulationsbeschluss vom 15. Februar 2010 auf die Beschwerde nicht eintrat. C. X._ führt Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, der Beschluss des Obergerichts des Kantons Zürich vom 1. Dezember 2008 sei aufzuheben, und die Sache sei zur neuen Beurteilung und Entscheidung an die Vorinstanz zurückzuweisen. Die Kosten des Verfahrens inklusive derjenigen der amtlichen Verteidigung seien auf die Gerichtskasse zu nehmen. Ihm seien zudem die unentgeltliche Rechtspflege zu gewähren und Rechtsanwalt Thomas Fingerhuth als amtlicher Verteidiger zu bestellen. D. Es wurden keine Vernehmlassungen eingeholt.