Sachverhalt: A. Mit Forderungskaufvertrag vom 24. Mai 1988 verkaufte die U._ der V._ AG Forderungen, die ihr gegen W._ Ltd., X._ AG und C._ zustanden, sowie alle sich daraus ergebenden Schadenersatzansprüche, insbesondere auch diejenigen gegen die Y._ AG Sicherheiten und Nebenrechte zum Kaufpreis von CHF 20'206'000.-- ("V._-Forderungen"). Für die V._ AG handelte D._. Der Kauf wurde von B._ finanziert. Am 13./21. Juni 1988 schlossen B._ als Treugeber und die V._ AG als Treuhänderin einen Treuhandvertrag. Nach diesem Vertrag erwirbt die Treuhänderin für den Treugeber von der U._ die oben aufgeführten "V._-Forderungen". Die Treuhänderin verpflichtete sich, das Treugut gemäss Instruktionen des Treugebers zu verwalten, einzutreiben und geltend zu machen sowie alle Erlöse gemäss Instruktionen des Treugebers zu verwenden. Gemäss diesem Treuhandvertrag war somit B._ der wirtschaftliche Erwerber und neuer Gläubiger der erwähnten Forderungen. Die V._ AG handelte zwar auf Rechnung von B._, nach aussen trat sie aber ausschliesslich in eigenem Namen auf. Die V._ AG beauftragte im Sommer 1988 Rechtsanwalt E._ mit der prozessualen Durchsetzung der zugunsten von B._ treuhänderisch verwalteten Forderungen gegenüber der Y._ AG. Am 13. Mai 1991 teilte die V._ AG B._ mit, dass sie von der Entwicklung bei der Z._ Holding AG und der damit im Zusammenhang stehenden Verschlechterung seiner Vermögensverhältnisse Kenntnis genommen habe. Sie bitte um Verständnis, dass sie unter diesen Umständen den Treuhandvertrag kündigen müsse, da er keine Gewähr mehr bieten könne, sie vertragsgemäss für alle Ansprüche unter dem Treuhandvertrag schadlos halten zu können. In der Folge suchte die V._ AG einen Käufer für die oben aufgeführten Forderungen, wobei sie diese mit Schreiben vom 26. Juli 1991 A._ (Beschwerdeführer), dem Schwager von B._, zum Preis von Fr. 500'000.-- anbot, der das Angebot noch gleichentags annahm. Mit Datum vom gleichen Tag teilte die V._ AG B._ mit, da er ihren Aufforderungen zur Bezahlung der aufgelaufenen Kosten und zur Sicherstellung allfälliger Prozessentschädigungen nicht nachgekommen sei, sei sie androhungsgemäss gezwungen gewesen, die ihr treuhänderisch überlassenen Vermögenswerte für seine Rechnung zu veräussern. Den Kaufpreis leistete der Beschwerdeführer in folgenden Teilbeträgen: am 31. Juli 1991 Fr. 230'000.--, am 2. August 1991 Fr. 43'645.--, Fr. 75'825.-- und Fr. 24'104.-- sowie am 5. August 1991 Fr. 128'050.--, total Fr. 501'624.--. Am 23. August 1991 schloss der Beschwerdeführer als Treugeber wie zuvor schon B._ mit der V._ AG als Treuhänderin ebenfalls einen Treuhandvertrag ab. Nachdem über B._ infolge seiner Insolvenzerklärung am 4. September 1991 der Konkurs eröffnet worden war, versuchte die Konkursverwaltung namens der Konkursmasse B._ (Beschwerdegegnerin) die fraglichen Forderungen von der V._ AG zurückzuerwerben, weil B._ vor dem Verkauf derselben an den Beschwerdeführer der frühere Eigentümer bzw. Gläubiger dieser Forderungen gewesen war. In der Folge schlossen die V._ AG, zwar im eigenen Namen aber auf Rechnung des nicht namentlich genannten Gläubigers der Forderungen, und die Beschwerdegegnerin am 18./19. Januar 1993 eine Vereinbarung ab, wonach die V._ AG sämtliche Ansprüche gegen W._ Ltd., X._ AG und C._ sowie alle Nebenrechte an die Beschwerdegegnerin abtrat. Dabei ging die Beschwerdegegnerin u.a. die Verpflichtung ein, 15 % des Erlöses aus einer allfälligen Veräusserung dieser Forderungen, im Minimum Fr. 1'165'350.--, der V._ AG bzw. dem Treugeber zu überweisen (Ziff. 3b der Vereinbarung). In diesem Zusammenhang stellte die Beschwerdegegnerin die Bedingung, dass keine Zahlungen direkt oder indirekt an den Gemeinschuldner, d.h. an B._, weitergeleitet werden. Im damaligen Zeitpunkt wusste die Beschwerdegegnerin nicht, wer im fraglichen Zeitpunkt der tatsächliche Gläubiger der Forderungen war. Im November 1993 verwertete die Beschwerdegegnerin die Forderungen gegen W._ Ltd., X._ AG und C._, wobei sie gemäss Beschwerdegegnerin Fr. 10'127'034.-- und gemäss Beschwerdeführer Fr. 10'415'349.05 brutto bzw. Fr. 9'102'468.55 netto erwirtschaften konnte. Mit Schreiben von 2. Februar 1994 teilte die Beschwerdegegnerin Rechtsanwalt E._ mit, nach Abschluss des Vergleichs mit der V._ AG habe sie erfahren, dass der Schwager von B._ der Erwerber der dem Vergleich zugrunde liegenden Forderungen sei. Bei dieser Sachlage sei anzunehmen, dass das Geld - entgegen der vertraglichen Zusicherung der V._ AG - direkt oder indirekt wieder an B._ fliessen würde, was unter keinen Umständen geschehen dürfe. Konkursverwaltung und Gläubigerausschuss müssten davon ausgehen, dass sie durch die Vertreter der V._ AG getäuscht worden seien. Sie mache die teilweise, einseitige Unverbindlichkeit des Vergleichsvertrages vom 18./19. Januar 1993, nämlich von dessen Ziffern 3b und 7, geltend wegen absichtlicher Täuschung im Sinne von Art. 28 Abs. 1 OR, eventuell wegen Grundlagenirrtums gemäss Art. 24 Abs. 1 Ziff. 4 OR. Die genannten Vertragsbestimmungen betrachte sie als ungültig. Am 25. Februar 1994 trat die V._ AG sämtliche Ansprüche aus der Vereinbarung vom 18./19. Januar 1993 an den Beschwerdeführer ab. Der Beschwerdeführer verlangte in der Folge von der Beschwerdegegnerin gemäss der aufgeführten Vereinbarung 15 % von Fr. 9'102'468.55, d.h. Fr. 1'365'370.30. B. Am 28. März 2001 reichte der Beschwerdeführer beim Bezirksgericht Zürich eine Teilklage ein und beantragte, die Beschwerdegegnerin sei zu verpflichten, den Teilbetrag von Fr. 50'000.-- samt 5 % Zins seit 22. November 1993 zu bezahlen, unter Vorbehalt späterer Teilklagen. Die Beschwerdegegnerin erhob Widerklage auf Feststellung, dass eine Forderung des Beschwerdeführers im Betrag von Fr. 1'365'370.30 zuzüglich Zinsen von 5 % seit 22. November 1992 gegen die Beschwerdegegnerin nicht besteht. Mit Urteil vom 11. Januar 2008 wies das Bezirksgericht die Klage ab und hiess die Widerklage gut. Dagegen erhob der Beschwerdeführer Berufung an das Obergericht des Kantons Zürich, mit der er sein vor Bezirksgericht gestelltes Rechtsbegehren erneuerte und Abweisung der Widerklage beantragte. Mit Urteil vom 23. Oktober 2008 wies das Obergericht die Hauptklage ab. In Gutheissung der Widerklage stellte es fest, dass keine Forderung des Beschwerdeführers im Betrag von Fr. 1'365'370.30 zuzüglich Zinsen zu 5 % seit 22. November 1992 gegen die Beschwerdegegnerin besteht. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, die Beschwerdegegnerin sei zu verpflichten, den Teilbetrag von Fr. 50'000.-- samt 5 % Zins seit 22. November 1993 zu bezahlen, unter Vorbehalt späterer Teilklagen. Die Widerklage sei abzuweisen. Die Beschwerdegegnerin beantragt, die Beschwerdeanträge des Beschwerdeführers abzuweisen und das Urteil des Obergerichts vom 23. Oktober 2008 zu bestätigen. Das Obergericht verzichtete auf eine Vernehmlassung.