Sachverhalt:
A. Das Obergericht des Kantons Zürich sprach X._ am 9. November 2001 wegen schwerer Körperverletzung und Raubes schuldig und bestrafte ihn mit 3 1⁄2 Jahren Zuchthaus, wovon 471 Tage durch Untersuchungshaft erstanden waren. Zudem ordnete es eine ambulante Massnahme im Sinne von aArt. 43 Ziff. 1 StGB an und schob den Vollzug der Freiheitsstrafe gemäss aArt. 43 Ziff. 2 Abs. 2 StGB auf.
Die ambulante Massnahme wurde ab dem 25. Januar 2002 vollzogen. Die seit dem Urteil des Obergerichts des Kantons Zürich erfolgten Verurteilungen (Gefängnisstrafe von zwei Monaten sowie drei Monaten gemäss Strafbefehlen der Bezirksanwaltschaft Zürich vom 19. November 2001 und 4. November 2004) schob die Vollzugsbehörde ebenfalls zugunsten der ambulanten Massnahme auf.
B. Am 14. Februar 2007 stellte die Vollzugsbehörde mittels Verfügung fest, dass die angeordnete Massnahme am 24. Januar 2007 abgelaufen ist und stellte beim Obergericht des Kantons Zürich den Antrag, es sei der Vollzug der aufgeschobenen Freiheitsstrafen anzuordnen bzw. zu prüfen, ob in Bezug auf die Reststrafe die Voraussetzungen für eine bedingte Freiheitsstrafe oder eine bedingte Entlassung gegeben seien.
C. Das Obergericht des Kantons Zürich beschloss am 2. Juli 2009, die zugunsten der ambulanten Massnahme aufgeschobenen Strafen von 3 1⁄2 Jahren Zuchthaus, abzüglich 471 Tage Untersuchungshaft, des Obergerichts des Kantons Zürich sowie die Gefängnisstrafen von zwei Monaten beziehungsweise drei Monaten gemäss Strafbefehlen der Bezirksanwaltschaft Zürich zu vollziehen. Es rechnete zusätzlich an die zu vollstreckenden Freiheitsstrafen einen mit der ambulanten Behandlung verbundenen Freiheitsentzug im Umfang von drei Monaten an.
D. Gegen diesen Beschluss erhob X._ Nichtigkeitsbeschwerde beim Kassationsgericht des Kantons Zürich, welches sie am 29. Oktober 2010 abwies, soweit es darauf eintrat.
E. X._ führt Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, der angefochtene Beschluss des Obergerichts des Kantons Zürich sei aufzuheben und die Sache zur Neubeurteilung an das Obergericht zurückzuweisen.
Er beantragt ausserdem die Gewährung der aufschiebenden Wirkung der Beschwerde sowie der unentgeltlichen Prozessführung. Zudem sei Rechtsanwalt Roland Götte als unentgeltlicher Rechtsbeistand zu bestellen.
F. Das Obergericht sowie das Kassationsgericht des Kantons Zürich verzichten auf eine Vernehmlassung. Die Bewährungs- und Vollzugsdienste des Justizvollzugs des Kantons Zürich beantragen sinngemäss die Abweisung der Beschwerde.

Erwägungen:
1.1 1.1.1 Der Beschwerdeführer macht geltend, die vom Obergericht verneinte Möglichkeit, ihm den bedingten Strafvollzug für die aufgeschobenen Strafen zu gewähren, verletze Art. 63b Abs. 4 Satz 2 StGB. Die Regelung sei als "bedingter Strafvollzug sui generis" zu betrachten. Somit sei gemäss Beschwerdeführer der bedingte Strafaufschub auch bei Reststrafen von mehr als zwei Jahren in Betracht zu ziehen. Es komme einzig darauf an, ob eine günstige Prognose gestellt bzw. ob eine ungünstige verneint werden könne (Beschwerde, S. 7). Überspitzt formalistisch sei zudem die Auffassung des Obergerichts, der teilbedingte Strafvollzug sei deshalb nicht möglich, weil Art. 63b Abs. 4 StGB nur den bedingten, nicht aber den teilbedingten Strafvollzug erwähne. Die weniger weit gehende Möglichkeit des teilbedingten Vollzuges sei in dieser Bestimmung mitgemeint (Beschwerde, S. 8).
1.1.2 Der Beschwerdeführer rügt ausserdem, das Obergericht habe die Frage der Legalprognose nicht beantwortet, sondern unkritisch auf die Meinungsäusserungen der Vollzugsbehörden abgestellt. Es hätte aber selbst prüfen müssen, ob der Verlauf der Massnahme eine günstige Prognose zulasse bzw. eine ungünstige Prognose ausschliesse. Es gebe nach dem Scheitern einer Massnahme keinen Automatismus, eine günstige Prognose beziehungsweise das Fehlen einer ungünstigen Prognose zu verneinen. Um eine solche Prognose stellen zu können, müsse sich das Gericht mit dem Verlauf der Massnahme genauer auseinandersetzen (Beschwerde, S. 7 f.).
1.1.3 Das Obergericht verletze weiter Art. 63b Abs. 4 StGB, indem es im Sinne einer Alternativbegründung auch wegen der seit dem 9. November 2001 begangenen Delikte eine günstige Prognose verneine. Die Massnahme sei wegen zweier Gewaltdelikte und zur Verhinderung weiterer Gewaltdelikte angeordnet worden. Gemäss Art. 46 Abs. 2 StGB sei auf einen Widerruf zu verzichten, wenn die neuen Delikte nicht einschlägig seien. Somit könne auch im Rahmen eines Verfahrens betreffend Vollzug aufgeschobener Freiheitsstrafen nicht jedes Delikt Anlass für eine ungünstige Prognose bilden (Beschwerde, S. 9).
1.1.4 Schliesslich habe sich das Obergericht nicht mit der Frage des Erfolgs/Misserfolgs der Massnahme auseinandergesetzt. Es verletze damit Art. 63b Abs. 1 StGB. Der Bewährungsdienst habe in seiner Verfügung vom 14. Februar 2007 nur den zeitlichen Ablauf der Massnahme festgestellt und nicht die Beendigung wegen Scheiterns der Massnahme. Dies habe der Bewährungsdienst lediglich in den (nicht anfechtbaren) Erwägungen zum Ausdruck gebracht. Hätte er diese Verfügung angefochten, wäre auf das Rechtsmittel ziemlich sicher nicht eingetreten worden, weil über den Erfolg der Massnahme in der Verfügung nicht entschieden worden sei. Zudem sei er im Verfügungszeitpunkt nicht amtlich verteidigt gewesen, sondern erst nach Ablauf der Rechtsmittelfrist. Er habe somit noch keine Gelegenheit gehabt, sich gegen das angebliche Scheitern der Massnahme zu wehren (Beschwerde, S. 10 f.).
1.1.4 Schliesslich habe sich das Obergericht nicht mit der Frage des Erfolgs/Misserfolgs der Massnahme auseinandergesetzt. Es verletze damit Art. 63b Abs. 1 StGB. Der Bewährungsdienst habe in seiner Verfügung vom 14. Februar 2007 nur den zeitlichen Ablauf der Massnahme festgestellt und nicht die Beendigung wegen Scheiterns der Massnahme. Dies habe der Bewährungsdienst lediglich in den (nicht anfechtbaren) Erwägungen zum Ausdruck gebracht. Hätte er diese Verfügung angefochten, wäre auf das Rechtsmittel ziemlich sicher nicht eingetreten worden, weil über den Erfolg der Massnahme in der Verfügung nicht entschieden worden sei. Zudem sei er im Verfügungszeitpunkt nicht amtlich verteidigt gewesen, sondern erst nach Ablauf der Rechtsmittelfrist. Er habe somit noch keine Gelegenheit gehabt, sich gegen das angebliche Scheitern der Massnahme zu wehren (Beschwerde, S. 10 f.).
1.2 1.2.1 Das Obergericht hält fest, die Vollzugsbehörde habe die ambulante Behandlung des Beschwerdeführers als gescheitert und deren Fortführung als aussichtslos erachtet. Eine Weiterführung der Massnahme sei nur im Ausnahmefall möglich und setze voraus, dass die Behandlung Aussicht auf Erfolg habe. Dieser Erfolg bestehe in der Verhütung von Delinquenz, was die Vollzugsbehörde zu Recht als nicht erfüllt erachtet habe. Möglich sei vorliegend einzig die Anordnung einer stationären Massnahme, was aber nicht angezeigt erscheine und von keiner Seite in Betracht gezogen worden sei. Die aufgeschobenen Freiheitsstrafen seien daher zu vollziehen (angefochtener Beschluss, S. 21).
1.2.2 Das Obergericht erwägt ferner, der bedingte Vollzug einer Freiheitsstrafe bedürfe einer günstigen Legalprognose. Diese setze indes voraus, dass das Ziel der Therapie erreicht worden sei. In welchen Fällen gemäss Art. 63b Abs. 4 Satz 2 StGB der bedingte Vollzug der aufgeschobenen Reststrafe bei gescheiterter Massnahme möglich sei, lässt das Obergericht offen, da eine Reststrafe von insgesamt 954 Tagen (1425 Tage abzüglich 471 Tage) vorliege, bei welcher ein bedingter Aufschub nicht möglich sei (angefochtener Beschluss, S. 23 f.). Sie verneint auch die Möglichkeit, die Reststrafe teilbedingt zu vollziehen. Der Wortlaut von Art. 63b Abs. 4 Satz 2 StGB spreche klarerweise nur vom bedingten Strafaufschub. Auch die Materialien sowie die Lehre deuteten nicht darauf hin, dass eine teilbedingte Vollziehbarkeit der Reststrafe möglich sei (angefochtener Beschluss, S. 25). Selbst wenn ein teilweiser Aufschub als möglich betrachtet würde, seien deren Voraussetzungen vorliegend nicht erfüllt.
1.2.3 Das Obergericht hält fest, dass die Vollzugsbehörde die ambulante Behandlung gemäss Art. 63a Abs. 2 lit. c StGB aufgehoben beziehungsweise den Ablauf der Höchstdauer festgestellt habe. Sie sei zudem unter Hinweis auf den Vollzugsverlauf zur Auffassung gelangt, die Massnahme sei gescheitert, was dem Aufhebungsgrund der Aussichtslosigkeit gemäss Art. 63a Abs. 2 lit. b StGB entspreche. Der Beschwerdeführer habe seit Anordnung der ambulanten Massnahme auch zahlreiche weitere Delikte begangen. Selbst wenn es sich hierbei nicht um solche gegen Leib und Leben oder um sonstige Gewaltdelikte gehandelt habe, sei eine für den Strafaufschub erforderliche günstige Prognose beziehungsweise das Fehlen einer ungünstigen Prognose zu verneinen (angefochtener Beschluss, S. 25 f.).
1.2.3 Das Obergericht hält fest, dass die Vollzugsbehörde die ambulante Behandlung gemäss Art. 63a Abs. 2 lit. c StGB aufgehoben beziehungsweise den Ablauf der Höchstdauer festgestellt habe. Sie sei zudem unter Hinweis auf den Vollzugsverlauf zur Auffassung gelangt, die Massnahme sei gescheitert, was dem Aufhebungsgrund der Aussichtslosigkeit gemäss Art. 63a Abs. 2 lit. b StGB entspreche. Der Beschwerdeführer habe seit Anordnung der ambulanten Massnahme auch zahlreiche weitere Delikte begangen. Selbst wenn es sich hierbei nicht um solche gegen Leib und Leben oder um sonstige Gewaltdelikte gehandelt habe, sei eine für den Strafaufschub erforderliche günstige Prognose beziehungsweise das Fehlen einer ungünstigen Prognose zu verneinen (angefochtener Beschluss, S. 25 f.).
1.3 1.3.1 Die zuständige Behörde prüft nach Art. 63a Abs. 1 StGB mindestens einmal jährlich, ob die ambulante Behandlung fortzusetzen oder aufzuheben ist. Sie hört vorher den Täter an und holt einen Bericht des Therapeuten ein. Nach Abs. 2 derselben Bestimmung wird die ambulante Behandlung durch die zuständige Behörde aufgehoben, wenn sie erfolgreich abgeschlossen wurde (lit. a), deren Fortführung als aussichtslos erscheint (lit. b) oder die gesetzliche Höchstdauer für die Behandlung von Alkohol-, Betäubungsmittel- oder Arzneimittelabhängigen erreicht ist (lit. c).
1.3.2 Wird die ambulante Behandlung wegen Aussichtslosigkeit, Erreichen der gesetzlichen Höchstdauer oder Erfolglosigkeit aufgehoben, ist die aufgeschobene Freiheitsstrafe zu vollziehen (Art. 63b Abs. 2 StGB). Das Gericht entscheidet, inwieweit der mit der ambulanten Behandlung verbundene Freiheitsentzug auf die Strafe angerechnet wird. Liegen in Bezug auf die Reststrafe die Voraussetzungen der bedingten Entlassung oder der bedingten Freiheitsstrafe vor, so schiebt es den Vollzug auf (Art. 63b Abs. 4 StGB). Dem Gericht obliegt es zu befinden, ob die Freiheitsstrafe zu verbüssen (Art. 63b Abs. 2 StGB) oder - anstelle des Strafvollzugs - eine stationäre therapeutische Massnahme nach den Art. 59 - 61 StGB anzuordnen ist (Art. 63b Abs. 5 StGB).
1.4 Der Beschwerdeführer weist im Ergebnis zu Recht darauf hin, dass die zuständige Behörde über den Aufhebungsgrund der ambulanten Massnahme zu befinden hat.
Die Verfügung der Bewährungs- und Vollzugsdienste vom 14. Februar 2007 (act. 1 der Vorakten) stellt gemäss Dispositiv Ziff. 1 lediglich den zeitlichen Ablauf der Massnahme per 24. Januar 2007 fest. Der Aufhebungsgrund einer ambulanten Massnahme durch Zeitablauf gemäss Art. 63a Abs. 2 lit. c StGB ist jedoch, wie dargelegt, nur bei Suchtbehandlungen vorgesehen. Dies ergibt sich daraus, dass diese Massnahmen eine zeitliche Obergrenze kennen, da sie gemäss Art. 60 Abs. 4 StGB höchstens einmal um ein Jahr verlängert werden dürfen, während die übrigen Massnahmen nach Art. 63 Abs. 4 StGB mehrmals um jeweils ein bis fünf Jahre verlängerbar sind (so auch MARIANNE HEER, Basler Kommentar Strafgesetzbuch I, 2. Aufl., 2007, Art. 63 N. 87). Der Hinweis der Vollzugsbehörde auf den Entscheid des Verwaltungsgerichts des Kantons Zürich vom 8. April 2002, wonach die Aufhebung einer von Gesetzes wegen abgelaufenen ambulanten Massnahme nicht noch formell zu verfügen sei, ist daher unbehelflich.
Erachtet die Vollzugsbehörde die Fortführung der ambulanten Behandlung als aussichtslos, so stellt sie deren Scheitern mittels anfechtbarer Verfügung fest (Art. 63a Abs. 2 lit. b StGB). In einem allfälligen Rekursverfahren hätte sich der Beschwerdeführer insbesondere gegen die Einstellung der ambulanten Massnahme zur Wehr setzen und vorbringen können, die Massnahme könne nicht als gescheitert gelten, sondern sei weiterzuführen. Gegen eine solche Verfügung steht nach erschöpftem kantonalen Instanzenzug die Beschwerde in Strafsachen offen (Art. 78 Abs. 2 lit. b BGG; <ref-ruling> E. 3.4). Erst wenn die Verfügung in Rechtskraft erwächst, hat ein Gericht auf Antrag der Vollzugsbehörde über die weiteren Schritte zu befinden (so auch HEER, a.a.O., Art. 63b N. 27).
Die Vollzugsbehörde hätte die Aufhebung der Massnahme somit explizit gestützt auf Art. 63a Abs. 2 lit. b StGB verfügen müssen. Der Beschwerdeführer macht daher zu Recht geltend, er habe noch keine Gelegenheit gehabt, sich gegen das angebliche Scheitern der ambulanten Massnahme zu wehren.
2. Die Beschwerde ist gutzuheissen. Der Beschluss des Obergerichts des Kantons Zürich vom 2. Juli 2009 ist aufzuheben und die Sache zur neuen Entscheidung an das Obergericht des Kantons Zürich zurückzuweisen. Auf die übrigen Vorbringen des Beschwerdeführers ist bei dieser Sachlage nicht weiter einzugehen.
Bei diesem Ausgang des Verfahrens sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 i.V.m. Abs. 4 BGG). Das Gesuch um unentgeltliche Rechtspflege ist infolge Gutheissung der Beschwerde gegenstandslos geworden. Der Kanton Zürich hat dem Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren eine angemessene Entschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG). Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Beschluss des Obergerichts des Kantons Zürich vom 2. Juli 2009 wird aufgehoben und die Sache zur neuen Entscheidung an dieses zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Zürich hat dem Rechtsvertreter des Beschwerdeführers eine Entschädigung von Fr. 3'000.-- auszurichten.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, III. Strafkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 14. März 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Keller