Sachverhalt: Sachverhalt: A. Die Y._ AG (Klägerin) ist eine im Bereich der Vermögensverwaltung tätige Unternehmung mit Sitz in Zürich. Hauptaktionär der Klägerin und ihrer Tochtergesellschaften ist A._, ein deutscher Staatsangehöriger mit Wohnsitz in Deutschland. X._ (Beklagter) ist ein diplomierter Bankbeamter und Vermögensverwalter. Er war seit Mai 1987 als Depotverwalter bei der Klägerin angestellt. Diese Tätigkeit beendete er im Oktober 1994. Von Dezember 1990 bis Juli 1994 war er zudem einziger Verwaltungsrat der Klägerin und ihrer Tochtergesellschaften. Er führte zusammen mit A._ als zeichnungsberechtigter Direktor die Geschäfte der Klägerin. Basis dieser Zusammenarbeit bildeten verschiedene Vereinbarungen, so ein Verwaltungsauftrag vom 15. Mai 1987, eine Vereinbarung betreffend das Verwaltungsratsmandat vom 1. Dezember 1990 sowie eine weitere Vereinbarung gleichen Datums über die Verwaltungstätigkeit. Neben der Tätigkeit für die Klägerin besass der Beklagte diverse eigene Firmen. Bei Diskussionen um eine Erweiterung der Klägerin und eine Beteiligung des Beklagten als Aktionär kam es zu Uneinigkeiten zwischen A._ und dem Beklagten, was dazu führte, dass der Beklagte anlässlich einer ausserordentlichen Generalversammlung vom 22. Juli 1994 aus seiner Funktion als Verwaltungsrat der Klägerin entlassen wurde. In der Folge warf die Klägerin dem Beklagten vor, mehrere Bezüge von ihrem Bankkonto getätigt zu haben, die jeglicher Grundlage entbehrten. Unter anderem solle er der Klägerin unzulässigerweise, durch Selbstkontrahieren, den Betrag von Fr. 264'000.-- (DEM 300'000.--) entnommen und im Zusammenhang mit einem Darlehen an die B._ AG für eigene Interessen verwendet haben (sogenannte "Position Treuhandvertrag"). Der Beklagte erhob gegen die Klägerin seinerseits verschiedene Ansprüche, insbesondere auf Honorar, Kommissionen und Gewinnbeteiligung. In der Folge warf die Klägerin dem Beklagten vor, mehrere Bezüge von ihrem Bankkonto getätigt zu haben, die jeglicher Grundlage entbehrten. Unter anderem solle er der Klägerin unzulässigerweise, durch Selbstkontrahieren, den Betrag von Fr. 264'000.-- (DEM 300'000.--) entnommen und im Zusammenhang mit einem Darlehen an die B._ AG für eigene Interessen verwendet haben (sogenannte "Position Treuhandvertrag"). Der Beklagte erhob gegen die Klägerin seinerseits verschiedene Ansprüche, insbesondere auf Honorar, Kommissionen und Gewinnbeteiligung. B. Am 12. Mai 1995 gelangte die Klägerin gegen den Beklagten an das Bezirksgericht Zürich, das die Klage zuständigkeitshalber an das Handelsgericht des Kantons Zürich weiterleitete. Sie beantragte, den Beklagten zur Bezahlung von Fr. 419'530.-- zuzüglich Zins und Kosten zu verpflichten. Der Beklagte stellte widerklageweise den Antrag, die Klägerin habe ihm Fr. 431'300.-- nebst Zins zu bezahlen. Eventuell sei die Klägerin zu verurteilen ihm Fr. 319'188.-- nebst Zins zu bezahlen und den Betrag von Fr. 112'112.-- sicherzustellen. Das Handelsgericht schrieb die Klage am 10. Mai 1999 im Betrag von Fr. 5'212.-- und die Widerklage im Betrag von Fr. 92'288.-- als durch Rückzug erledigt ab. Gleichzeitig schützte es die Klage teilweise im Umfang von Fr. 264'000.-- sowie Fr. 42'288.-- nebst Zins. Die Widerklage sowie die Eventualwiderklage wies es ab. Gegen dieses Urteil erhob der Beklagte eidgenössische Berufung und kantonale Nichtigkeitsbeschwerde. Das Kassationsgericht des Kantons Zürich hiess die letztere am 4. September 2000 gut, hob das angefochtene Urteil auf und wies die Sache zur Neubeurteilung der Positionen Treuhandvertrag und Kommissionen bzw. Gewinnbeteiligung an das Handelsgericht zurück. In der Folge schrieb das Bundesgericht die eidgenössische Berufung am 12. Oktober 2000 als gegenstandslos ab (Verfahren 4C.239/1999). Gegen dieses Urteil erhob der Beklagte eidgenössische Berufung und kantonale Nichtigkeitsbeschwerde. Das Kassationsgericht des Kantons Zürich hiess die letztere am 4. September 2000 gut, hob das angefochtene Urteil auf und wies die Sache zur Neubeurteilung der Positionen Treuhandvertrag und Kommissionen bzw. Gewinnbeteiligung an das Handelsgericht zurück. In der Folge schrieb das Bundesgericht die eidgenössische Berufung am 12. Oktober 2000 als gegenstandslos ab (Verfahren 4C.239/1999). C. Im wiederaufgenommenen Verfahren vor dem Handelsgericht erhöhte der Beklagte mit Eingabe vom 25. März 2004 sein Widerklagebegehren, indem er beantragte, die Klägerin sei zu verpflichten ihm Fr. 544'341.29 nebst Zins zu bezahlen. Am 7. Juli 2005 entschied das Handelsgericht erneut in der Streitsache. Es verpflichtete den Beklagten in teilweiser Gutheissung der Klage, der Klägerin Fr. 264'000.-- sowie Fr. 42'288.--, je nebst Zins, zuzüglich Betreibungskosten zu bezahlen. Die Widerklage und die Eventualwiderklage wies es erneut ab. Der Beklagte gelangte gegen dieses Urteil mit kantonaler Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich, welches das Rechtsmittel am 21. Juli 2006 abwies, soweit es darauf eintrat. Der Beklagte gelangte gegen dieses Urteil mit kantonaler Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich, welches das Rechtsmittel am 21. Juli 2006 abwies, soweit es darauf eintrat. D. Der Beklagte hat das Urteil des Handelsgerichts vom 7. Juli 2005 ebenfalls mit eidgenössischer Berufung angefochten. Er beantragt, das angefochtene Urteil aufzuheben und die Sache zur vollständigen Feststellung des rechtserheblichen Tatbestands mittels eines Beweisverfahrens und zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Eventuell sei das angefochtene Urteil aufzuheben und ein neues Urteil zu fällen, in dem die Klage im Umfang von Fr. 264'000.-- abzuweisen und das (angefochtene) Urteil hinsichtlich der übrigen Punkte der Klage zu bestätigen sowie die Widerklage im Umfang von Fr. 510'591.29 nebst Zins gutzuheissen sei. Ferner sei von der Reduktion der Widerklage auf einstweilen Fr. 510'591.29 nebst Zins Vormerk zu nehmen. Die Klägerin schliesst auf Abweisung der Berufung und Bestätigung des angefochtenen Urteils.