Sachverhalt: A. Das Obergericht des Kantons Zürich sprach X._ am 9. November 2001 wegen schwerer Körperverletzung und Raubes schuldig und bestrafte ihn mit 3 1⁄2 Jahren Zuchthaus, wovon 471 Tage durch Untersuchungshaft erstanden waren. Zudem ordnete es eine ambulante Massnahme im Sinne von aArt. 43 Ziff. 1 StGB an und schob den Vollzug der Freiheitsstrafe gemäss aArt. 43 Ziff. 2 Abs. 2 StGB auf. Die ambulante Massnahme wurde ab dem 25. Januar 2002 vollzogen. Die seit dem Urteil des Obergerichts des Kantons Zürich erfolgten Verurteilungen (Gefängnisstrafe von zwei Monaten sowie drei Monaten gemäss Strafbefehlen der Bezirksanwaltschaft Zürich vom 19. November 2001 und 4. November 2004) schob die Vollzugsbehörde ebenfalls zugunsten der ambulanten Massnahme auf. B. Am 14. Februar 2007 stellte die Vollzugsbehörde mittels Verfügung fest, dass die angeordnete Massnahme am 24. Januar 2007 abgelaufen ist und stellte beim Obergericht des Kantons Zürich den Antrag, es sei der Vollzug der aufgeschobenen Freiheitsstrafen anzuordnen bzw. zu prüfen, ob in Bezug auf die Reststrafe die Voraussetzungen für eine bedingte Freiheitsstrafe oder eine bedingte Entlassung gegeben seien. C. Das Obergericht des Kantons Zürich beschloss am 2. Juli 2009, die zugunsten der ambulanten Massnahme aufgeschobenen Strafen von 3 1⁄2 Jahren Zuchthaus, abzüglich 471 Tage Untersuchungshaft, des Obergerichts des Kantons Zürich sowie die Gefängnisstrafen von zwei Monaten beziehungsweise drei Monaten gemäss Strafbefehlen der Bezirksanwaltschaft Zürich zu vollziehen. Es rechnete zusätzlich an die zu vollstreckenden Freiheitsstrafen einen mit der ambulanten Behandlung verbundenen Freiheitsentzug im Umfang von drei Monaten an. D. Gegen diesen Beschluss erhob X._ Nichtigkeitsbeschwerde beim Kassationsgericht des Kantons Zürich, welches sie am 29. Oktober 2010 abwies, soweit es darauf eintrat. E. X._ führt Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, der angefochtene Beschluss des Obergerichts des Kantons Zürich sei aufzuheben und die Sache zur Neubeurteilung an das Obergericht zurückzuweisen. Er beantragt ausserdem die Gewährung der aufschiebenden Wirkung der Beschwerde sowie der unentgeltlichen Prozessführung. Zudem sei Rechtsanwalt Roland Götte als unentgeltlicher Rechtsbeistand zu bestellen. F. Das Obergericht sowie das Kassationsgericht des Kantons Zürich verzichten auf eine Vernehmlassung. Die Bewährungs- und Vollzugsdienste des Justizvollzugs des Kantons Zürich beantragen sinngemäss die Abweisung der Beschwerde.