Sachverhalt:
A. Die X._ AG (Beschwerdegegnerin) ist eine in der Versicherungsbranche tätige Aktiengesellschaft mit Sitz in Y._. Sie ist aus der Z._ und deren Rechtsvorgängerinnen hervorgegangen. A._ (Beschwerdeführer) war zunächst (spätestens) ab 1978 bis 1995 als (unselbstständiger) Arbeitnehmer für die Z._ tätig und alsdann gemäss Vereinbarung vom 26. Juni 1995 bis Ende 2005 als deren selbstständiger Generalagent. Im Oktober 2002 schlossen die Parteien als Folge der Umfirmierung der Beschwerdegegnerin einen neuen Agenturvertrag, woraus sich indessen keine inhaltlichen Änderungen ergaben. Ende 1996 betrug das Prämienvolumen, das der Beschwerdeführer gebucht hatte, Fr. 8'206'682.65, im Jahre 2005 Fr. 10'261'044.--. Als Arbeitnehmer hatte der Beschwerdeführer mindestens ab 1985 ein jährliches Bruttoeinkommen, Boni nicht eingeschlossen, von Fr. 200'000.-- erzielt, als Generalagent ein durchschnittliches jährliches Nettoeinkommen von Fr. 400'000.--. Aus der Vermittlung von Versicherungsverträgen für die Beschwerdegegnerin nach Beendigung des Agenturvertrages erwirtschaftete der Beschwerdeführer, jedenfalls bis Ende 2009, ein jährliches Einkommen von mindestens Fr. 200'000.--.
B. Über die Frage, ob dem Beschwerdeführer nach Auflösung des Agenturvertrages eine Entschädigung für die Kundschaft nach Art. 418u zusteht, gerieten die Parteien in Streit. Die einschlägige Bestimmung (Ziff. 22.2) des Agenturvertrages vom 26. Juni 1995 unter dem Titel "Ueberlassung des bestehenden Portefeuilles und OR Artikel 418 u" lautet wie folgt:
"Die Z._ überlässt dem Agenten per 1.1.1996 ein Portefeuille mit einer gebuchten Jahresprämie von Fr. .............. (Stand 31.12.1995) unentgeltlich zur Bearbeitung. Dieser Portefeuillebestand wird bei einer allfälligen nach OR Artikel 418 u zu entrichtenden Entschädigung mit dem Portefeuillebestand bei Vertragsende vollumfänglich verrechnet."
C. Mit Klage vom 3. Dezember 2007 beantragte der Beschwerdeführer dem Handelsgericht des Kantons Zürich, die Beschwerdegegnerin unter Kosten- und Entschädigungsfolgen zu ihren Lasten zu verpflichten, ihm Fr. 406'654.40 zuzüglich 5 % Zins seit 5. März 2007 zu bezahlen. Das Handelsgericht wies die Klage am 12. April 2011 ab. Gegen dieses Urteil hat der Beschwerdeführer Beschwerde in Zivilsachen eingereicht, mit welcher er im Wesentlichen sein vor Handelsgericht gestelltes Rechtsbegehren erneuert. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Handelsgericht hat auf Vernehmlassung verzichtet. Der Beschwerdeführer hat eine Replik, die Beschwerdegegnerin eine Duplik eingereicht.
Erwägungen:
1. Unter den Parteien ist die Auslegung der erwähnten Ziff. 22.2 des Agenturvertrages vom 26. Juni 1995 umstritten.
1.1 Nach dem angefochtenen Urteil hat der Beschwerdeführer vorgetragen, ein anzurechnender Betrag sei in die betreffende Rubrik der umstrittenen Vertragsbestimmung nicht eingesetzt worden, weil ihm die Beschwerdegegnerin keine Kunden unentgeltlich zur Bearbeitung überlassen habe. Vielmehr habe er den gesamten Kundenstamm von Grund auf selber aufgebaut bzw. erarbeitet. Überdies habe die Beschwerdegegnerin im Zeitpunkt des Vertragsschlusses nicht riskieren wollen, den Beschwerdeführer und dessen Portefeuille zu verlieren, denn der Beschwerdeführer habe damals vor der Wahl gestanden, zu einer anderen Versicherung zu wechseln oder Makler zu werden, wobei ihm die Kunden wegen seiner fundierten und persönlichen Beratung sicherlich gefolgt wären. Das Nichtausfüllen der fraglichen Zeile in der umstrittenen Vertragsbestimmung sei somit gleich bedeutend mit "CHF 0.--". Der zu Beginn des Vertragsverhältnisses vorhandene Kundenstamm habe als von Grund auf neu geschaffen zu gelten.
1.2 Die Beschwerdegegnerin bestritt diese Darstellung. Sie brachte vor, der Beschwerdeführer habe das Prämienvolumen von Fr. 8'206'683.-- zwischen 1978 und 1995 als Arbeitnehmer erarbeitet und beim Wechsel zur Selbstständigkeit unentgeltlich übernommen. Der anzurechnende Betrag nach 418u OR sei nicht etwa offen gelassen worden, weil die Beschwerdegegnerin befürchtet hätte, den Beschwerdeführer als Generalagenten zu verlieren, sondern wegen der bei Vertragsschluss vorherrschenden speziellen Umstände. Der Beschwerdeführer sei Teil eines Pilotprojekts bei der Einführung von Generalagenturen gewesen. Als solcher habe er den Vertrag früher als die übrigen Generalagenten unterschrieben, und zwar in einem Zeitpunkt, in dem der Betrag der gebuchten Prämien noch nicht festgestanden und das detaillierte Provisionsreglement noch nicht vorgelegen habe.
1.3 Die Vorinstanz erachtete den Nachweis eines übereinstimmenden tatsächlichen Willens, gemäss welchem die Parteien bei Vertragsschluss dem unentgeltlich übergebenen Kundenstamm einen Wert von Fr. 0.-- hätten beimessen wollen, wie ihn der Beschwerdeführer behauptet hatte, für nicht erbracht. Dagegen deuteten die Beweismittel darauf hin, dass die Beschwerdegegnerin dem Beschwerdeführer zu Anfang des Agenturverhältnisses den zuvor durch ihn als Arbeitnehmer erarbeiteten Kundenstamm unentgeltlich zur Bearbeitung übergeben habe. Der Beschwerdeführer selbst habe angegeben, unter "bestehendem Portefeuille" seien seine persönlichen Kunden zu verstehen, die er eingebracht bzw. vermittelt habe.
1.4 In der Folge legte die Vorinstanz die umstrittene Bestimmung nach dem Vertrauensprinzip aus.
1.4.1 Die Vorinstanz erwog, der Wortlaut allein führe nicht zu einem eindeutigen Ergebnis. Da die Parteien von der Überlassung eines Portefeuilles per 1. Januar 1996 gesprochen, den entsprechenden Betrag jedoch offen gelassen hätten, sei sowohl die Deutung des Beschwerdeführers als auch jene der Beschwerdegegnerin vertretbar, nach welcher im Hinblick auf eine spätere "Verrechnung" von einem betragsmässig zwar bestimmbaren, jedoch einstweilen noch nicht bezifferten Wert des Prämienvolumens auszugehen sei. Allerdings sei nicht ersichtlich, weshalb es nicht möglich gewesen sein sollte, den offen gelassenen Raum für den Frankenbetrag mit "CHF 0.--" zu füllen. Die offen gelassene Stelle im standardisierten Vertrag hätte es an sich zugelassen, den individuellen Umständen Rechnung zu tragen. Es erscheine daher wahrscheinlicher, dass noch ein Wert hätte eingesetzt werden sollen, der im Zeitpunkt des Vertragsabschlusses noch nicht bekannt gewesen sei.
1.4.2 Die Entstehungsgeschichte des Vertrages stützt nach Auffassung der Vorinstanz ebenso eher die Sachverhaltsschilderung der Beschwerdegegnerin, nach welcher der Vertrag mit dem Beschwerdeführer als Teilnehmer des Pilotversuchs rund ein halbes Jahr vor den Verträgen mit den übrigen Agenten abgeschlossen worden sei. Es sei auch glaubhaft, dass der Wechsel vom Regie- zum selbstständigen Generalagenten mit der Übernahme der Z._ durch die Beschwerdegegnerin in Zusammenhang gestanden habe und die konkreten Zahlen im Zeitpunkt des Vertragsschlusses noch nicht bekannt gewesen seien. Dies erkläre den in Klammern angebrachten Hinweis auf den "Stand 31.12.1995".
1.4.3 Der Standpunkt der Beschwerdegegnerin werde auch durch den Vertragszweck untermauert, die Abgeltung von Vorteilen, die der Auftraggeber auch nach Beendigung des Agenturverhältnisses aus den erbrachten vertraglichen Leistungen des Agenten ziehen könne. Wenn dem Agenten zu Beginn des Agenturverhältnisses ein Kundenportefeuille unentgeltlich zur Bearbeitung überlassen werde, sei es bei der Ermittlung der vertraglichen Leistung des Agenten vom Umfang des Portefeuilles bei Vertragsbeendigung in Abzug zu bringen. Bei dem zu Beginn des Agenturverhältnisses vorhandenen Portefeuille habe es sich entgegen der Meinung des Beschwerdeführers nicht um seine eigenen Kunden gehandelt, sondern um solche, die er als Arbeitnehmer der Beschwerdegegnerin für diese gegen Bezahlung eines Lohnes sowie einer variablen Lohnkomponente akquiriert habe. Weshalb die Beschwerdegegnerin diese Kunden hätte "kaufen" bzw. für deren "Überlassung" dem Beschwerdeführer eine Entschädigung hätte bezahlen müssen, sei nicht ersichtlich. Daran ändere nichts, dass der Beschwerdeführer in seinem bisherigen Wirken für die Beschwerdegegnerin, das bis in die 60er Jahre zurückreiche, sehr erfolgreich gewesen sei. Bei der Umgestaltung des Arbeitsverhältnisses in eine Generalagentur habe die Beschwerdegegnerin den Beschwerdeführer als besonders wertvollen und tüchtigen Mitarbeiter zweifellos nicht verlieren wollen. Dieser Interessenlage hätten die Parteien aber gebührend Rechnung getragen, habe doch die Beschwerdegegnerin dem Beschwerdeführer das vorhandene Kundenportefeuille unentgeltlich zur weiteren Bearbeitung überlassen. Der Beschwerdeführer habe auf diese Weise von Anfang an für seine Tätigkeit Provisionen beziehen und dadurch vom ganzen Portefeuille bzw. Prämienvolumen profitieren können und nicht lediglich von Kunden, die er während der Dauer des Agenturvertrages neu geworben habe. Die Parteien hätten daher bei Vertragsschluss kaum angenommen, die Beschwerdegegnerin werde mit Blick auf eine Entschädigung nach Art. 418u OR bei Vertragsbeendigung zusätzlich auf die wertmässige Verrechnung des überlassenen Portefeuillebestandes verzichten.
2. Der Beschwerdeführer ist der Auffassung, die Vorinstanz sei zu Unrecht davon ausgegangen, die getroffene Vereinbarung enthalte eine Vertragslücke. Mangels Bezifferung des Werts des anzurechnenden Portefeuilles sei davon auszugehen, dass die Parteien gar keine Regelung getroffen hätten. Eine Vertragsergänzung sei unnötig. Zudem gehe eine allfällige Unvollständigkeit bei Formularverträgen immer zu Lasten des Verfassers. Aber auch im Übrigen hat die Vorinstanz nach Auffassung des Beschwerdeführers bei der Auslegung des Vertrages nicht alle wesentlichen Umstände berücksichtigt und teilweise widersprüchliche Feststellungen getroffen.
2.1 Bleibt eine tatsächliche Willensübereinstimmung unbewiesen, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten. Das Bundesgericht überprüft diese objektivierte Auslegung von Willenserklärungen als Rechtsfrage, wobei es an Feststellungen des kantonalen Gerichts über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden ist (Art. 105 Abs. 1 BGG; BGE 135 III 410 E. 3.2 S. 413 mit Hinweis). Massgebend ist dabei der Zeitpunkt des Vertragsabschlusses. Nachträgliches Parteiverhalten ist bei der Auslegung nach dem Vertrauensprinzip nicht von Bedeutung; es kann höchstens - im Rahmen der Beweiswürdigung - auf einen tatsächlichen Willen der Parteien schliessen lassen (BGE 133 III 61 E. 2.2.1 S. 67; 132 III 626 E. 3.1 S. 632). Dabei hat das Gericht zu berücksichtigen, was sachgerecht ist, weil nicht anzunehmen ist, dass die Parteien eine unangemessene Lösung gewollt haben (BGE 122 III 420 E. 3a S. 424; 117 II 609 E. 6c S. 621; je mit Hinweisen; vgl. auch BGE 133 III 607 E. 2.2 S. 610).
2.2 Vorformulierte Vertragsbestimmungen sind grundsätzlich nach den gleichen Regeln wie individuell verfasste Vertragsklauseln auszulegen (BGE 135 III 1 E. 2 S. 6, 410 E. 3.2 S. 412). Subsidiär gilt sodann die Unklarheitsregel, wonach mehrdeutige Klauseln gegen den Verfasser bzw. gegen jene Partei auszulegen sind, die als branchenkundiger als die andere zu betrachten ist und die Verwendung der vorformulierten Bestimmungen veranlasst hat (BGE 124 III 155 E. 1b S. 158; 122 III 118 E. 2a S. 121; 133 III 607 E. 2.2 S. 610).
2.3 Diesen Anforderungen wird die Vertragsauslegung nach dem Vertrauensprinzip durch die Vorinstanz im Ergebnis gerecht.
2.3.1 Für die Auslegung nach Treu und Glauben gibt den Ausschlag, ob der Beschwerdeführer zur Annahme berechtigt war, bei der Berechnung einer allfälligen Entschädigung nach Art. 418u OR erfolge kein Abzug für den übernommenen Kundenstamm, da im Agenturvertrag für das überlassenen Portefeuille an der dafür vorgesehenen Stelle kein Betrag eingesetzt war. Dass die Vertragsklausel nicht auslegungsbedürftig wäre, trifft nicht zu. Wäre von der Überlassung eines Portefeuilles mit einer gebuchten Jahresprämie von Fr. 0.-- auszugehen, wie der Beschwerdeführer annimmt, hätte diese Zahl ohne Weiteres eingesetzt oder die gesamte Bestimmung gestrichen werden können. Jedenfalls ergäbe die Erläuterung "Stand 31.12.1995" keinen Sinn und der nach Ansicht des Beschwerdeführers einzusetzende Betrag stünde in krassem Widerspruch zum realen Wert des damals vorhandenen Portefeuilles.
2.3.2 Aus dem blossen Umstand, dass am dafür vorbestimmten Ort der schriftlichen Vereinbarung keine Zahl eingesetzt wurde, durfte der Beschwerdeführer demnach nicht ableiten, er brauche sich bei Vertragsende den Wert des anfänglich vorhandenen Kundestammes nicht anrechnen zu lassen. Er musste erkennen, dass der Wert des Portefeuilles "Stand 31.12.1995" bei einer allfälligen nach Art. 418u OR zu entrichtenden Entschädigung mit dem Portefeuillebestand bei Vertragsende vollumfänglich verrechnet würde.
2.3.3 Ob die Beschwerdegegnerin dem Beschwerdeführer den Wert im März 1996 mitgeteilt hat oder nicht, ist nicht entscheiderheblich. Aus der Tatsache, dass der Betrag nachträglich nicht ergänzt wurde, durfte der Beschwerdeführer nach Treu und Glauben nicht schliessen, die Beschwerdegegnerin verzichte auf die Anrechnung des Werts des Portefeuilles. Dass eine einvernehmliche Festsetzung des anzurechnenden Werts unterblieb, hat einzig zur Folge, dass die Beschwerdegegnerin im Zeitpunkt der Auflösung des Agenturvertrages zu beweisen hat, welchen Wert das dem Beschwerdeführer überlassene Portefeuille am 31.12.1995 aufwies. Die diesbezügliche Feststellung der Vorinstanz kritisiert der Beschwerdeführer nicht. Auf seine Sachverhaltsrügen betreffend die Frage, ob die Zahlen per Ende 1995 geliefert wurden, ist mangels Relevanz nicht einzutreten. Der anrechenbare Betrag muss nicht bereits im Zeitpunkt des Vertragsschlusses bestimmt zu sein; Bestimmbarkeit genügt.
2.4 Was der Beschwerdeführer gegen die Vertragsauslegung der Vorinstanz einwendet, verfängt nicht:
2.4.1 Soweit der Beschwerdeführer vorbringt, die Vorinstanz habe festgestellt, er selbst habe den Kundenstamm erarbeitet, lässt er ausser Acht, dass die Vorinstanz das Gewicht darauf legte, dass er den Kundenstamm als Angestellter der Beschwerdegegnerin aufgebaut hat und dafür angemessen entlöhnt worden ist. Zur Auswertung dieses Kundenstamms war somit nicht mehr der Beschwerdeführer, sondern die Beschwerdegegnerin als Arbeitgeberin berechtigt.
2.4.2 Der Auffassung des Beschwerdeführers, vorformulierte Vertragsbedingungen seien im Zweifel gegen den Verfasser auszulegen, weshalb die im Standardvertrag nicht ausgefüllte Position ohne weiteres entsprechend seiner Auslegung mit Wert Fr. 0.-- und nicht mit Fr. 8'034'653.-- zu ergänzen sei, ist entgegenzuhalten, dass vorformulierte Vertragsbedingungen zunächst nach den gleichen Regeln wie individuell verfasste auszulegen sind (BGE 135 III 1 E. 2 S. 6, 410 E. 3.2 S. 412) und die Unklarheitenregel, wonach mehrdeutige Wendungen im Zweifel zulasten jener Partei auszulegen sind, welche sie verfasst hat, erst zur Anwendung gelangt, wenn die übrigen Auslegungsmittel versagen (BGE 122 III 118 E. 2a S. 121; 124 III 155 E. 1b S. 158). Die Vorinstanz ist daher bundesrechtskonform vorgegangen, wenn sie die Vertragsklausel nach dem Vertrauensprinzip auslegte.
2.4.3 Der Beschwerdeführer rügt zu Unrecht, die Vorinstanz habe sein Vorbringen ausser Acht gelassen, wonach der Beschwerdegegnerin angesichts seiner beruflichen Qualitäten daran gelegen gewesen sei, ihn nicht an die Konkurrenz zu verlieren. Die Vorinstanz hielt vielmehr sinngemäss fest, die Beschwerdegegnerin habe diesem Interesse dadurch Rechnung getragen, dass sie dem Beschwerdeführer das vorhandene Kundenportefeuille unentgeltlich zur weiteren Bearbeitung überlassen habe. Weshalb eine Regelung nicht sachgerecht sein soll, bei welcher die Beschwerdegegnerin bei Beendigung des Agenturvertrages auf dem unentgeltlich überlassenen Kundenportefeuille keine Entschädigung mehr zahlen soll, legt der Beschwerdeführer nicht dar.
3. Aus den dargelegten Gründen hält die normative Vertragsauslegung der Vorinstanz vor Bundesrecht stand. Deren weitere Erwägungen, welche diese Vertragsauslegung bestätigen bzw. ihr zumindest nicht entgegen stehen würden (Usanzen bzw. Verkehrssitten; Verhalten der Parteien nach Vertragsabschluss) erweisen sich unter diesen Umständen als nicht entscheidwesentlich, weshalb auf die in der Beschwerde dagegen vorgebrachte Kritik nicht einzutreten ist, ebenso wenig wie auf jene gegen die Alternativbegründung der Vorinstanz, wonach ein Entschädigungsanspruch unbillig wäre. Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 7'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 8'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 9. Dezember 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak