Sachverhalt:
A. Das Bezirksgericht Zürich sprach X._ am 1. Dezember 2006 des gewerbsmässigen Betrugs schuldig. Es bestrafte ihn mit 3 Jahren Zuchthaus, als Zusatzstrafe zum Urteil des Obergerichts des Kantons Aargau vom 12. Dezember 2002. Die erstandene Untersuchungshaft rechnete es ihm auf die Strafe an.
B. X._ erhob gegen die Strafzumessung Berufung. Das Obergericht des Kantons Zürich verurteilte X._ zu einer Freiheitsstrafe von 33 Monaten, als Zusatzstrafe zum Urteil des Obergerichts des Kantons Aargau vom 12. Dezember 2002, unter Anrechnung der Untersuchungshaft.
C. Gegen dieses Urteil erhebt X._ Beschwerde in Strafsachen. Er beantragt, das angefochtene Urteil aufzuheben und die Sache zur Neubeurteilung an das Obergericht zurückzuweisen.

Erwägungen:
1. 1.1 Der Beschwerdeführer rügt, die Vorinstanz habe die Strafzumessung willkürlich und unter Verletzung der Begründungspflicht vorgenommen. Sie sei zu Unrecht davon ausgegangen, der Beschwerdeführer habe "hanebüchene Ausreden" erfunden, welche das Verfahren unnötig erschwert hätten. Falsch sei auch die Feststellung, sein Geständnis zeuge nicht von echter Reue. Er habe erstinstanzlich die Zivilansprüche anerkannt und ausgesagt, das Vorgefallene tue ihm leid.
1.2 Das Aussageverhalten des Beschwerdeführers bis zur Berufungsverhandlung zeugt nach der Auffassung der Vorinstanz nicht von Einsicht. Er habe selbst bei erdrückender Beweislage nicht davor zurückgescheut, immer wieder neue, teilweise hanebüchene Ausreden zu erfinden, die das Verfahren unnötig erschwerten. Auch seine Aussagen im Rahmen des in der Berufungsverhandlung abgelegten Geständnisses zeugten nicht von einer echten Reue. Diesbezüglich verweist die Vorinstanz auf das Verhandlungsprotokoll (S. 20 ff.).
1.3 Das Gericht hält in der Begründung die für die Zumessung der Strafe erheblichen Umstände und deren Gewichtung fest. Es liegt im Ermessen des Sachrichters, in welchem Umfang er die verschiedenen Strafzumessungsfaktoren berücksichtigt. Die Strafrechtliche Abteilung des Bundesgerichts greift auf Beschwerde in Strafsachen hin nur in die Strafzumessung ein, wenn die Vorinstanz den gesetzlichen Strafrahmen über- oder unterschritten hat, wenn sie von rechtlich nicht massgebenden Kriterien ausgegangen ist oder wesentliche Gesichtspunkte ausser Acht gelassen beziehungsweise in Überschreitung oder Missbrauch ihres Ermessens falsch gewichtet hat (<ref-ruling> E. 2.1 S. 19; <ref-ruling> E. 6.1 S. 20 f.; <ref-ruling> E. 2c S. 104 f.; je mit Hinweisen). Eine Beschwerde ist nicht alleine deshalb gutzuheissen, um die Begründung zu verbessern oder zu vervollständigen, soweit die Entscheidung im Ergebnis bundesrechtskonform erscheint (BGE <ref-ruling> E. 2c. S. 104 f. mit Hinweisen).
1.4 Aus den Ausführungen der Vorinstanz ergibt sich, dass der Beschwerdeführer erst im Berufungsverfahren geständig war. Die erste Instanz musste eine zeitaufwendige, ausführliche Beweiswürdigung vornehmen, weil der Beschwerdeführer sämtliche Anklagepunkte bestritt (act. 97, S. 11 bis 58). Das späte Geständnis bewirkte deshalb eine längere Verfahrensdauer, als dies bei einem sofortigen Geständnis der Fall gewesen wäre. Vor diesem Hintergrund erweist sich die Erwägung, der Beschwerdeführer habe Ausflüchte (welcher Art auch immer) erfunden, die das Verfahren unnötig verzögert hätten, als vertretbar und bundesrechtskonform.
1.5 Ein hartnäckiges Bestreiten der Tatvorwürfe kann unter gewissen Umständen als fehlende Einsicht und Reue ausgelegt und sogar straferhöhend berücksichtigt werden (Urteil 6B_858/2008 vom 20. Mai 2009 E. 4.3.3 mit Hinweisen). Die Vorinstanz stellt fest, der Beschwerdeführer habe das Geständnis zum spätest möglichen Zeitpunkt abgelegt und verweist zur Begründung der fehlenden Reue auf das Verhandlungsprotokoll. Daraus ergibt sich, dass der Beschwerdeführer erst in der Berufungsverhandlung einräumt, er habe das betagte Opfer um rund Fr. 960'000.-- betrogen. Dies tue ihm leid. Das Ermittlungsverfahren wurde gestützt auf eine Strafanzeige im Juni 2002 eingeleitet, die Berufungsverhandlung fand am 16. April 2009 statt. Die Vorinstanz musste das Geständnis nicht als "echte Reue" werten, weil dieses nahezu sieben Jahre nach Verfahrenseinleitung erfolgte.
2. 2.1 Der Beschwerdeführer macht geltend, die Gesamtstrafe, welche die aktuellen Delikte und jene aus dem Urteil des Obergerichts des Kantons Aargau vom 12. Dezember 2002 betreffe, sei nicht bundesrechtskonform festgesetzt worden. Deshalb verletze auch die ausgefällte Zusatzstrafe Art. 47 und 49 StGB. Die Vorinstanz habe die Ausführungen im Plädoyer des Beschwerdeführers unter Verletzung des Anspruchs auf rechtliches Gehör unberücksichtigt gelassen. Das Urteil des aargauischen Obergerichts sei seinerseits eine Zusatzstrafe zum Strafbefehl der Bezirksanwaltschaft Zürich vom 9. Januar 1998. Für die Bestimmung der Zusatzstrafe seien zunächst diejenigen Straftaten zu bestimmen, die vor dem Urteil des Obergerichts des Kantons Aargau verübt worden seien. Darauf sei nach den Regeln der retrospektiven, bzw. teilweise retrospektiven Konkurrenz eine hypothetische Gesamtstrafe zu bilden. Die Zusatzstrafe sei entgegen der Auffassung der Vorinstanz lediglich zu jenen Delikten auszufällen, welche sich nach dem Strafbefehl der Bezirksanwaltschaft Zürich ereignet hätten. Der für die Strafzumessung relevante Deliktszeitraum verkürze sich somit auf das Jahr 1998 bis April 2002 und beschlage nicht die Jahre 1991 bis 2002. Dies müsse eine erhebliche Reduktion der Gesamtstrafe zur Folge haben. Die Vorinstanz habe eine hypothetische Gesamtstrafe gebildet, ohne eine "Strafausscheidung" vorzunehmen.
2.2 Die Vorinstanz verweist zu den generellen Ausführungen der retrospektiven Konkurrenz und des Asperationsprinzips auf die Erwägungen der ersten Instanz. Es sei eine hypothetische Gesamtstrafe zu bilden. Abgeurteilt seien durch das Obergericht des Kantons Aargau mehrfacher Betrug, mehrfache Urkundenfälschung, Unterdrückung von Urkunden, mehrfache Veruntreuung, mehrfache ungetreuen Geschäftsbesorgung, Vernachlässigung von Unterhaltspflichten, falsche Anschuldigung und Vergehen gegen das Bundesgesetz über die obligatorische Arbeitslosenversicherung und die Insolvenzentschädigung. Die schwerste Tat unter den abgeurteilten und den neuen Delikten sei der gewerbsmässige Betrug gemäss Art. 146 Abs. 2 aStGB. Der theoretische Strafrahmen belaufe sich gemäss aArt. 68 Ziff. 1 Abs. 1 StGB auf Zuchthaus bis zu 15 Jahren. Aufgrund des Verschlechterungsverbots liege die Obergrenze der auszufällenden Zusatzstrafe bei 3 Jahren Freiheitsstrafe. Zu den persönlichen Verhältnissen, das Vorleben sowie die Tatumstände verweist die Vorinstanz auf das erstinstanzliche Urteil und bringt Ergänzungen an. Sie wertet das Verschulden des Beschwerdeführers als schwer. Er habe während zweieinhalb Jahren die Einsamkeit einer alten Frau zu seinem finanziellen Vorteil ausgenutzt. Der Deliktsbetrag sei mit Fr. 960'000.-- sehr hoch. Dabei habe er sich in keiner Notlage befunden, sondern damit seinen aufwändigen Lebensstil finanziert. Die Geschädigte habe aufgrund ihrer Vermögensentäusserung an den Beschwerdeführer im hohen Alter staatliche Unterstützung in Anspruch nehmen müssen. Der Beschwerdeführer habe bis zur Berufungsverhandlung keine Einsicht in sein Verhalten gezeigt und immer wieder neue Ausreden erfunden. Sein Geständnis, welches er erst in der Berufungsverhandlung abgelegt habe, zeuge nicht von echter Reue. Die Vorstrafen aus den Jahren 1995, 1996 und 1998 dürften nicht mehr straferhöhend berücksichtigt werden, da sie aus dem Register gelöscht worden seien. Hingegen sei das Delinquieren während des laufenden Strafverfahrens als stark straferhöhend zu werten. Die Schuldfähigkeit des Beschwerdeführers sei gestützt auf das eingeholte Gutachten nicht vermindert. Nur leicht strafmindernd wirke sich das zum spätest möglichen Zeitpunkt abgelegte Geständnis aus. Die erhöhte Strafempfindlichkeit als Vater von zwei schulpflichtigen Kindern sowie die lange Verfahrensdauer sei leicht strafmindernd zu gewichten. Die von der ersten Instanz ausgefällte hypothetische Gesamtstrafe von 4 1⁄2 Jahren Zuchthaus erscheine als angemessen. Aufgrund der aus dem Strafregister gelöschten, nicht mehr zu berücksichtigenden Vorstrafen sei die Gesamtstrafe auf vier Jahre und zwei Monate zu reduzieren. Unter Abzug der Vorstrafe des Obergerichts des Kantons Aargau von 17 Monaten Gefängnis sei die Zusatzstrafe auf 33 Monate Zuchthaus bzw. nach neuer Terminologie Freiheitsstrafe festzusetzen.
2.3 Die Vorinstanz beurteilt die Taten des Beschwerdeführers sinngemäss nach dem alten allgemeinen Teil des Strafgesetzbuches, welcher vor dem 1. Januar 2007 galt.
Hat der Täter ein Verbrechen oder Vergehen vor dem Inkrafttreten des neuen Gesetzes begangen, erfolgt die Beurteilung aber erst nachher, so ist das neue Gesetz anzuwenden, wenn es für ihn das mildere ist (vgl. <ref-law>). Die Vorinstanz geht zu Recht davon aus, dass eine Freiheitsstrafe von über drei Jahren als Gesamtstrafe auszusprechen ist. Damit ist sowohl nach dem alten als auch dem neuen Recht kein (teil)bedingter Strafvollzug mehr möglich. Das neue Recht erweist sich nicht als milder, weshalb das alte Recht anzuwenden ist.
2.3.1 Hat jemand durch eine oder mehrere Handlungen mehrere Freiheitsstrafen verwirkt, so verurteilt ihn der Richter zu der Strafe der schwersten Tat und erhöht deren Dauer angemessen. Er kann jedoch das höchste Mass der angedrohten Strafe nicht um mehr als die Hälfte erhöhen. Dabei ist er an das gesetzliche Höchstmass der Strafart gebunden (aArt. 68 Ziff. 1 Abs. 1 StGB). Hat der Richter eine mit Freiheitsstrafe bedrohte Tat zu beurteilen, die der Täter begangen hat, bevor er wegen einer andern Tat zu Freiheitsstrafe verurteilt worden ist, so bestimmt der Richter die Strafe so, dass der Täter nicht schwerer bestraft wird, als wenn die mehreren strafbaren Handlungen gleichzeitig beurteilt worden wären (aArt. 68 Ziff. 2 StGB).
2.3.2 Im Falle der retrospektiven Konkurrenz ist das Delikt zu bestimmen, für welches das Gesetz die schwerste Strafe vorsieht. Danach hat der Richter für dieses Delikt die Einsatzstrafe festzusetzen. Anschliessend wird diese Sanktion im Hinblick auf die weiteren zu beurteilenden Taten erhöht. Ist das bereits abgeurteilte Delikt das schwerere, bestimmt das Gericht die Einsatzstrafe ausgehend von diesem Delikt und erhöht die Strafe gestützt auf die neu zu beurteilenden Delikte. Wenn hingegen das neu zu beurteilende Delikt schwerer ist, dient dieses zur Festsetzung der Einsatzstrafe, welche gestützt auf die alten, bereits abgeurteilten Delikte erhöht werden muss. Von der so gebildeten Gesamtstrafe ist die bereits ausgesprochene Strafe abzuziehen. Daraus resultiert die auszusprechende Zusatzstrafe (<ref-ruling> E. 1.1 S. 115; <ref-ruling> E. 2b und c S. 120 ff.; <ref-ruling> E. 2a S. 16 f; je mit Hinweisen). Bei der Bemessung der Zusatzstrafe ist der Richter sowohl in Bezug auf die Strafart als auch hinsichtlich der Art des Vollzugs nicht an den rechtskräftigen ersten Entscheid gebunden (<ref-ruling> E. 1.1 S. 115).
2.4 Die Bezirksanwaltschaft Zürich sprach den Beschwerdeführer am 9. Januar 1998 wegen falscher Anschuldigung und grober Verletzung der Verkehrsregeln schuldig. Sie bestrafte ihn mit einer Gefängnisstrafe von 35 Tagen, bedingt vollziehbar, bei einer Probezeit von 2 Jahren, und einer Busse von Fr. 750.--. Diese Delikte beging der Beschwerdeführer von April 1997 bis Juni 1997. Am 12. Dezember 2002 verurteilte das aargauische Obergericht den Beschwerdeführer zu einer Gefängnisstrafe von 17 Monaten und zu einer Busse von Fr. 5'000.--, teilweise als Zusatzstrafe zum Urteil der Bezirksanwaltschaft Zürich vom 9. Januar 1998. Es widerrief den bedingten Strafvollzug des Urteils der Bezirksanwaltschaft Zürich in Bestätigung des erstinstanzlichen Urteils. Dem Urteil des aargauischen Obergerichts liegen Delikte von September 1991 bis Dezember 1998 zugrunde. Die aktuell zu beurteilenden Delikte hat der Beschwerdeführer von Oktober 1999 bis April 2002 begangen. Sie fallen in den Zeitraum vor dem Urteil des Obergerichts des Kantons Aargau vom 12. Dezember 2002.
2.5 Aufgrund der Deliktsdaten ist für die zu beurteilenden Straftaten eine vollständige Zusatzstrafe zum Urteil des Obergerichts des Kantons Aargau vom 12. Dezember 2002 auszufällen, weil der Beschwerdeführer alle Delikte vor diesem Urteil begangen hat (aArt. 68 Ziff. 2 StGB). Hingegen ist zum Strafbefehl der Bezirksanwaltschaft Zürich vom 9. Januar 1998 keine Zusatzstrafe auszusprechen, da die zu beurteilenden Taten alle nach dem Urteilszeitpunkt verübt wurden.
2.6 Entgegen der Auffassung des Beschwerdeführers sind nicht wie bei der teilweisen retrospektiven Konkurrenz bzw. bei einer Zusatzstrafe zu mehreren früheren Verurteilungen die Straftaten vor und nach dem Strafbefehl der Bezirksanwaltschaft Zürich vom 9. Januar 1998 auszuscheiden und Straftatengruppen zu bilden (vgl. zum Vorgehen bei der retrospektiven Konkurrenz Urteil 6B_28/2008 vom 10. April 2008 E. 3.3; 6S.848/1998 vom 10. September 1999 E. 1c; BGE <ref-ruling> E. 2a S. 16 ff.; je mit Hinweisen). Daran ändert nichts, dass das Urteil des Aargauischen Obergerichts seinerseits teilweise als Zusatzstrafe zum Urteil der Bezirksanwaltschaft Zürich ausgefällt wurde. Zwar kommt es insoweit zu Überschneidungen, als sowohl das Aargauer Obergericht als auch die Vorinstanz prüfen mussten, ob die vom Aargauer Obergericht beurteilten Taten die schwereren seien. Solange dieses Vorgehen nicht dazu führt, dass gleichzeitig mehrere Einsatzstrafen für denselben Zeitraum festgelegt werden, entsteht dem Beschwerdeführer kein Nachteil. Er wird nicht strenger beurteilt, als wenn alle Delikte dem vormaligen Richter bekannt gewesen wären.
2.7 Das Aargauer Obergericht hat die damals neuen Delikte als schwerer erachtet. Es hat die Einsatzstrafe aufgrund der Straftaten des Strafbefehls der Bezirksanwaltschaft Zürich erhöht und die bereits ausgesprochene Freiheitsstrafe von seiner Gesamtstrafe abgezogen. Die Vorinstanz legt ihre Einsatzstrafe ausgehend von den neuen Delikten (gewerbsmässiger Betrug) fest und erhöht diese unter Berücksichtigung der Delikte, welche das Aargauer Obergericht zu beurteilen hatte. Davon zieht sie die Strafe des aargauischen Obergerichts von 17 Monaten ab. Rückblickend sind die von der Vorinstanz beurteilten neuen Delikte als die schwersten eingestuft worden. Die dafür festgelegte Einsatzstrafe wurde gestützt auf die früheren Delikte lediglich erhöht. Von der Gesamtstrafe wurde die bereits ausgesprochene Strafe abgezogen. Das Vorgehen der Vorinstanz erweist sich als bundesrechtskonform. Sie durfte die Ausführungen des Beschwerdeführers zur Bildung von Straftatengruppen in ihrer Strafzumessung ohne Verletzung des rechtlichen Gehörs unberücksichtigt lassen, da sie nicht entscheidend sind (vgl. <ref-ruling> E. 2.1 S. 19 f. mit Hinweisen, wonach nur die für die Strafzumessung erheblichen Umstände in der Begründung festzuhalten sind).
3. 3.1 Der Beschwerdeführer beanstandet, die Vorinstanz habe das Geständnis, den Wegfall zahlreicher Vorstrafen sowie die lange Verfahrensdauer lediglich mit einer Strafreduktion von vier Monaten bewertet. Die lange Verfahrensdauer von über sieben Jahren, welche dem Beschwerdeführer nicht zum Vorwurf gemacht werden könne, sei deutlicher strafmindernd zu berücksichtigen. Die Vorinstanz verletze <ref-law>.
3.2 Die Vorinstanz erwägt, die lange Verfahrensdauer sei entstanden, weil das erste psychiatrische Gutachten nicht verwertbar gewesen sei. Deshalb sei ein zweites Gutachten erstellt worden. Das Geständnis, die lange Verfahrensdauer und die nicht mehr zu berücksichtigenden Vorstrafen seien leicht strafmindernd zu werten. Die Gesamtstrafe sei von 4 1⁄2 Jahren Zuchthaus auf 4 Jahre und 2 Monate zu reduzieren. Unter Abzug der bereits ausgesprochenen Strafe von 17 Monaten resultiere eine Freiheitsstrafe von 33 Monaten. Das zweite Gutachten gab die Vorinstanz gemäss ihrer Darstellung nach der Berufungsverhandlung am 17. Juli 2008 in Auftrag. Es traf am 5. Januar 2009 bei der Vorinstanz ein. Diese stellte es am 9. Januar 2009 den Parteien zur Stellungnahme zu. Der Beschwerdeführer nahm am 1. April 2009 innert mehrmals erstreckter Frist zum Gutachten Stellung. Die Vorinstanz fällte am 16. April 2009 das Urteil.
3.3 Kriterien für die Angemessenheit der Verfahrensdauer im Rahmen von Strafverfahren bilden etwa die Schwere des Tatvorwurfs, die Komplexität des Sachverhaltes, die dadurch gebotenen Untersuchungshandlungen, das Verhalten des Beschuldigten und dasjenige der Behörden (z.B. unnötige Massnahmen oder Liegenlassen des Falles) sowie die Zumutbarkeit für den Beschuldigten (<ref-ruling> E. 3.1 S. 274 mit Hinweisen).
3.4 Der Beschwerdeführer verlangt pauschal, die Verfahrensdauer stärker strafmindernd zu gewichten. Er legt nicht näher dar, dass andere Gründe als das zweite Gutachten vorhanden wären, welche eine stärkere Gewichtung der Verfahrensdauer rechtfertigten. Die Erstellung des zweiten Gutachtens dauerte lediglich ein halbes Jahr. Die Stellungnahme des Beschwerdeführers nahm nochmals drei Monate in Anspruch. Anschliessend fällte die Vorinstanz ihr Urteil unverzüglich am 16. April 2009. Das Verfahren verlängerte sich durch das zweite Gutachten insgesamt um gut dreiviertel Jahre. Eine solche Verzögerung fällt nicht entscheidend ins Gewicht. Die Dauer des Verfahrens, das späte Geständnis sowie die Löschung der Vorstrafen im Strafregister durfte die Vorinstanz im Rahmen ihres weiten Ermessens ohne Bundesrechtsverletzung insgesamt als leicht strafmindernd bewerten.
4. Die Beschwerde ist insgesamt abzuweisen. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, sowie Rechtsanwalt Richard A. Müller, Zürich, schriftlich mitgeteilt.
Lausanne, 8. September 2009
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Favre Koch