Sachverhalt:
A. X._ wird im Wesentlichen zur Last gelegt, in der Nacht vom 27. auf den 28. August 2005, nach einem Besuch in einem Sexsalon in Zürich und einer tätlichen Auseinandersetzung mit dem Sicherheitsangestellten A._, im dortigen Treppenhaus, mit einer Pistole aus einer Entfernung von 1,5 bis 2 Metern auf diesen einen Schuss abgegeben zu haben, wodurch A._ vorne auf der Höhe des dritten Brustwirbels getroffen wurde. Durch diese Schussverletzung musste er notfallmässig operiert werden. Er erlitt einen Pneumothorax mit Querschnittlähmung, wird zeitlebens invalid bleiben und auf einen Rollstuhl angewiesen sein.
B. Mit Urteil vom 16. Januar 2007 fand die II. Strafkammer des Obergerichts des Kantons Zürich X._ schuldig der versuchten Tötung im Sinne von <ref-law> in Verbindung mit <ref-law> und der mehrfachen Widerhandlung gegen <ref-law>. Es bestrafte ihn mit 10 Jahren Freiheitsstrafe, wovon es 507 Tage durch Untersuchungs- und Sicherheitshaft sowie vorzeitigen Strafvollzug als erstanden erklärte. Es ordnete eine ambulante Behandlung X._ im Sinne von <ref-law> an. Es schob den Vollzug der Freiheitsstrafe nicht auf.
Mit Beschluss vom gleichen Tag ordnete die II. Strafkammer des Obergerichts den Vollzug folgender Strafen an:
- 45 Tage Gefängnis wegen Fahrens in angetrunkenem Zustand etc. gemäss Strafbefehl der Bezirksanwaltschaft Dielsdorf vom 5. Oktober 2001,
- 6 Monate Gefängnis wegen Fahrens in angetrunkenem Zustand etc. gemäss Urteil des Obergerichts des Kantons Zürich, I. Strafkammer, vom 20. Oktober 2003,
- 8 Monate Gefängnis wegen falscher Anschuldigung, Fahrens in angetrunkenem Zustand etc. gemäss Urteil des Bezirksgerichts Baden vom 3. November 2005,
- 21 Tage Haft wegen Fahrens trotz Entzugs des Führerausweises gemäss Strafbefehl der Staatsanwaltschaft Zürich-Sihl vom 20. Juli 2005,
- 56 Tage Gefängnis wegen Verletzung der Verkehrsregeln etc. gemäss Strafbefehl des Bezirksamts Lenzburg vom 16. August 2005,
- 40 Tage Haft, Bussenumwandlung gemäss Strafbefehl des Bezirksamtes Lenzburg vom 14. November 2005.
Ferner beschloss die II. Strafkammer die Weiterführung der mit Urteil vom 20. Oktober 2003 seiner I. Strafkammer angeordneten ambulanten Massnahme während des Vollzuges der eben genannten Strafen.
C. Gegen dieses Urteil und diesen Beschluss erhob X._ kantonale Nichtigkeitsbeschwerde beim Kassationsgericht des Kantons Zürich.
Dieses hiess die Beschwerde mit Zirkulationsbeschluss vom 24. Dezember 2007 teilweise gut und wies die Sache insofern zur Neuentscheidung an die Vorinstanz zurück. Im Übrigen wies es die Nichtigkeitsbeschwerde ab, soweit es darauf eintrat.
Die Gutheissung betraf den Strafbefehl betreffend Bussenumwandlung des Bezirksamtes Lenzburg vom 14. November 2005. Hier führte das Kassationsgericht aus, der Beschwerdeführer rüge zu Recht, dass der blosse Hinweis auf diesen Strafbefehl in der Verfügung des Amtes für Justizvollzug des Kantons Zürich vom 24. Februar 2006 die rechtsgültige Zustellung des Strafbefehls nicht ersetzen könne. Damit habe die Vorinstanz den Vollzug der im Strafbefehl angeordneten Umwandlung der Busse in 40 Tage Haft nicht beschliessen dürfen.
Mit Beschluss vom 25. Februar 2008 korrigierte die II. Strafkammer des Obergerichts des Kantons Zürich weisungsgemäss ihren Beschluss vom 16. Januar 2007, indem sie den Vollzug der 40 Tage Haft, Bussenumwandlung gemäss Strafe des Bezirksamtes Lenzburg vom 14. November 2005, nicht mehr anordnete.
D. Mit Eingaben vom 14. Februar und 17. März 2008 reichte X._ Beschwerde in Strafsachen beim Bundesgericht gegen das Urteil und den Beschluss des Obergerichts des Kantons Zürich ein.
Das Obergericht und die Oberstaatsanwaltschaft des Kantons Zürich haben auf Vernehmlassungen verzichtet.

Erwägungen:
1. 1.1 Der Beschwerdeführer macht eine Verletzung von <ref-law> geltend. Er bezieht sich vor allem auf die von der Staatsanwaltschaft unter dem Aspekt der Tatschwere beantragten Einsatzstrafen und erachtet die von der Vorinstanz festgesetzte Strafe als nicht nachvollziehbar und nicht nachprüfbar. Wenn die Vorinstanz die vom Staatsanwalt angenommene Einsatzstrafe - also 10 beziehungsweise 10 1⁄2 Jahre - als durchaus vertretbar erachtet habe, aber davon ausgegangen sei, dass dieser die verminderte Zurechnungsfähigkeit und das abgelegte Geständnis zu wenig berücksichtigt habe, so wäre eine Freiheitsstrafe von 8 bis 8 1⁄2 Jahren angemessen gewesen, jedoch nicht eine solche von 10 Jahren. Dem Urteil lasse sich nicht hinreichend entnehmen, in welchem Ausmass sich die einzelnen Strafzumessungsgründe niedergeschlagen hätten, und auch bezüglich der "Einsatzstrafe" bestehe Unklarheit. Möglicherweise sei die Einsatzstrafe sogar mit dem Schlussantrag verwechselt worden. Im Übrigen sei die ausgefällte Strafe aussergewöhnlich hoch ausgefallen. Zur Begründung verweist der Beschwerdeführer auf nach seiner Ansicht vergleichbare Fälle. Auch weil eine derart hohe Strafe ausgesprochen worden sei, seien die Anforderungen an die Begründung des Strafurteils gemäss <ref-law> hoch anzusetzen (Beschwerdeschrift S. 6/7).
1.2 Die Vorinstanz hat mit ihrer Begründung der Strafzumessung <ref-law>, wonach das Gericht in der Urteilsbegründung die für die Zumessung der Strafe erheblichen Umstände und deren Gewichtung festzuhalten hat, nicht verletzt. Der Beschwerdeführer weist selber darauf hin, dass die Erwägungen der Vorinstanz zur Strafzumessung 9 Seiten umfassen, und er fasst diese ausführliche Begründung auf den Seiten 5 und 6 seiner Beschwerdeschrift zutreffend zusammen. Wenn der Beschwerdeführer geltend macht, dem angefochtenen Urteil lasse sich nicht hinreichend entnehmen, wie die Vorinstanz die einzelnen Strafzumessungsgründe gewichtet habe, so ist dem entgegenzuhalten, dass sie nicht verpflichtet war, im Urteil mit absoluten Zahlen oder in Prozenten anzugeben, inwieweit sie bestimmte strafzumessungsrelevante Tatsachen straferhöhend oder strafmindernd berücksichtigt hat. Von Bundesrechts wegen ist auch nicht eine irgendwie bezifferte Einsatzstrafe verlangt. Auch hatte sich die Vorinstanz nicht an Anträge oder Berechnungen der Staatsanwaltschaft zu halten, sondern die Zumessung der Strafe lag allein in ihrem Ermessen. Der Vergleich mit anderen Urteilen, bei denen tiefere Strafen ausgesprochen worden sind, vermag dem Beschwerdeführer deshalb nicht zu helfen, weil derartige Vergleichsfälle in aller Regel doch beträchtliche Verschiedenheiten aufweisen. Zusammenfassend erweist sich die Beschwerde in diesem Punkt als unbegründet und ist abzuweisen.
2. 2.1 Der Beschwerdeführer hatte bereits im vorinstanzlichen Verfahren die Frage aufgeworfen, ob nicht anstelle des Zusammenzählens der Strafen eine Gesamtstrafe ausgefällt werden müsste, analog zu <ref-law>, wo dies für den Fall der bedingten Entlassung aus einer stationären Massnahme vorgeschrieben werde. Er macht geltend, aufgrund der Botschaft des Bundesrats sei es der klare Wille des Gesetzgebers gewesen, ein flexibleres Sanktionensystem einzuführen. Der Gesetzgeber sei dabei davon ausgegangen, dass er in Bezug auf die Nichtbewährung bei einer ambulanten Massnahme die gleiche Regelung wie bei einer stationären Massnahme treffen würde. Daraus lasse sich schliessen, dass es sich um ein gesetzgeberisches Versehen bei der Redaktion von <ref-law> handle, dass die in <ref-law> vorgesehene Möglichkeit der Aussprechung einer Gesamtstrafe in Anwendung von <ref-law> nicht vorgesehen worden sei. Dementsprechend läge eine Gesetzeslücke vor, die nach der Intention des Gesetzgebers zu füllen sei, womit vorliegend die Ausfällung einer Gesamtstrafe möglich gewesen wäre und richtigerweise auch hätte erfolgen sollen. Indem die Vorinstanz diese Möglichkeit der Aussprechung einer Gesamtstrafe verneint habe, habe sie ihr Ermessen unterschritten und insbesondere <ref-law> falsch ausgelegt und angewandt. Gerade die Vielzahl der aufgeschobenen Strafen, über deren Schicksal zu befinden sei, erfordere die Aussprechung einer Gesamtstrafe, damit er nicht schlechter gestellt werde als ein während laufender Probezeit Delinquierender oder eine Person mit stationärer Massnahme (Beschwerdeschrift S. 9/10).
2.2 Die Vorinstanz erwog, es läge entgegen der Auffassung des Beschwerdeführers keine Gesetzeslücke vor. Vielmehr ergebe sich aufgrund des klaren Gesetzeswortlauts, dass für den Fall der Aufhebung der ambulanten Massnahmen keine Gesamtstrafe auszufällen sei (<ref-law>), so dass für eine analoge Anwendung von <ref-law> kein Raum bestehe.
2.3 Begeht der aus einer stationären Behandlung bedingt Entlassene während der Probezeit eine Straftat, so kann das Gericht unter anderem die Massnahme aufheben und den Vollzug einer Freiheitsstrafe anordnen (<ref-law>). Sind aufgrund der neuen Straf-tat die Voraussetzungen für eine unbedingte Freiheitsstrafe erfüllt und trifft diese mit einer zugunsten der Massnahme aufgeschobenen Freiheitsstrafe zusammen, so spricht das Gericht in Anwendung von <ref-law> eine Gesamtstrafe aus (<ref-law>; zur Gesamtstrafe ausführlich Jürg-Beat Ackermann, Basler Kommentar StGB I, 2. Aufl. Basel 2007, Art. 49 N. 46 ff.).
Begeht der Täter dagegen wie vorliegend während der ambulanten Behandlung Straftaten, so wird die erfolglose ambulante Behandlung durch das Gericht aufgehoben (<ref-law>), und die aufgeschobene Freiheitsstrafe ist zu vollziehen (<ref-law>). Das Gericht entscheidet darüber, inwieweit der mit der ambulanten Behandlung verbundene Freiheitsentzug auf die Strafe angerechnet wird (<ref-law>).
Die Verankerung unterschiedlicher Rechtsfolgen, je nachdem, ob der Delinquent aus einer stationären Behandlung bedingt entlassen worden ist und während der Probezeit straffällig wird, oder ob er während der ambulanten Behandlung Straftaten begeht, lässt sich entgegen der Auffassung des Beschwerdeführers durchaus auf sachliche Gründe stützen, da die Eingriffsintensität bei stationären Massnahmen, bei welchen der Täter im Sinne eines Freiheitsentzugs in eine geeignete psychiatrische Einrichtung oder Massnahmevollzugseinrichtung eingewiesen wird (<ref-law>), ungleich höher ist als bei ambulanten Massnahmen, bei denen der Betroffene in Freiheit verbleibt.
Da der Gesetzgeber demnach bewusst voneinander abweichende Regelungen getroffen hat, ist die Argumentation des Beschwerdeführers, es liege eine Gesetzeslücke vor, nicht stichhaltig. Für eine analoge Anwendung der Konzeption der Gesamtstrafenbildung auf <ref-law> besteht folglich kein Raum. Die Beschwerde ist daher auch insoweit abzuweisen.
3. 3.1 Der Beschwerdeführer rügt schliesslich eine Verletzung von <ref-law>. Zur Begründung führt er aus, es sei beispielsweise für die gemeinnützige Arbeit vorgesehen, dass vier Stunden gemeinsamer Arbeit einem Tagessatz Geldstrafe oder einem Tag Freiheitsstrafe entsprächen. Die Eingriffsintensität einer Gesprächstherapie sei deutlich höher zu gewichten als jene von gemeinnütziger Arbeit. Wenn die Vorinstanz gleichwohl darauf erkenne, dass die besuchten Therapien nicht annähernd einem Freiheitsentzug gleichgesetzt werden könnten, verletze dies Bundesrecht, indem sie eine angemessene Anrechnung verweigere (Beschwerdeschrift S. 10).
3.2 Die Vorinstanz führte aus, eine Anrechnung der ambulanten Massnahme wäre nur geboten, wenn die persönliche Freiheit des Beschwerdeführers durch den Massnahmevollzug in einem Ausmass eingeschränkt gewesen wäre, dass von einer einem Freiheitsentzug ähnlichen Situation gesprochen werden könnte. Dies sei vorliegend indessen nicht der Fall, da die rund zweiwöchentlichen Therapiesitzungen bei der Beratungsstelle Dielsdorf beziehungsweise die weiteren von der Verteidigung aufgezählten Termine auch nicht annähernd einem Freiheitsentzug gleichgesetzt werden könnten (angefochtenes Urteil S. 30).
3.3 Gemäss <ref-law> entscheidet das Gericht darüber, inwieweit der mit der ambulanten Behandlung verbundene Freiheitsentzug auf die Strafe angerechnet wird. Wegen der grundsätzlichen Verschiedenheit von ambulanter Massnahme und Strafvollzug kommt in der Regel einzig eine beschränkte Berücksichtigung der ambulanten Behandlung in Betracht. Diese ist in dem Ausmass anzurechnen, als der Betroffene in seiner persönlichen Freiheit tatsächlich eingeschränkt war. In Rechnung zu ziehen ist vor allem, mit welchem Zeit- und Kostenaufwand die ambulante Behandlung für den Betroffenen verbunden war (<ref-ruling> E. 2b). Dem Gericht steht dabei ein erheblicher Spielraum des Ermessens zu (<ref-ruling> E. 4 b mit Hinweisen).
Die Vorinstanz hat vorliegend begründet, weshalb sie die alle zwei Wochen absolvierten Therapiesitzungen des Beschwerdeführers in ihrer Intensität des Eingriffs in die persönliche Freiheit als nicht annähernd mit einem Freiheitsentzug vergleichbar erachtet hat. Diese Auffassung ist noch vertretbar. Angesichts des für den Beschwerdeführer mit den Therapien verbundenen geringen Aufwands hat die Vorinstanz im Ergebnis das ihr zukommende Ermessen nicht verletzt, indem sie folgerte, eine Anrechnung der ambulanten Behandlung auf die Strafe rechtfertige sich nicht.
4. Aus diesen Gründen ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Kosten des Verfahrens (<ref-law>). Er stellt indes ein Gesuch um unentgeltliche Rechtspflege gemäss <ref-law>. Dieses kann bewilligt werden, da von seiner Bedürftigkeit auszugehen und diese ausreichend belegt ist (vgl. <ref-ruling> E. 4) und seine Beschwerde nicht von vornherein aussichtslos war (vgl. <ref-ruling> E. 2 mit Hinweisen). Dem Beschwerdeführer sind deshalb keine Kosten aufzuerlegen. Dem amtlichen Verteidiger, als welcher für das bundesgerichtliche Verfahren Rechtsanwalt Emil Robert Meier eingesetzt wird, ist aus der Bundesgerichtskasse eine angemessene Entschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
3. Es werden keine Kosten erhoben.
4. Rechtsanwalt Emil Robert Meier wird für das bundesgerichtliche Verfahren als amtlicher Verteidiger eingesetzt und mit Fr. 3'000.-- aus der Bundesgerichtskasse entschädigt.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 19. November 2008
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Schneider Stohner