Sachverhalt:
A. A._ (Beschwerdeführer) schloss am 25. September 2003 mit B._ eine Vereinbarung betreffend Übernahme von 5 % des Aktienkapitals der Y._ AG zum Kaufpreis von EUR 400'000.--. Gemäss Ziffer 2 der Vereinbarung stand dem Beschwerdeführer bis zum 1. Oktober 2004 das Recht zu, B._ 3 % des Aktienkapitals zu einem Preis von EUR 400'000.-- zurückzugeben. Gemäss Ziffer 3 der Vereinbarung wurde diese Option so abgesichert, dass dem Beschwerdeführer eine Versicherungsgarantie von der X._ in Zürich im Betrag von EUR 400'000.-- übergeben werden sollte. In der Folge wurde eine "Bürgschaftsgarantie" zwischen dem Beschwerdeführer und der X._ USA Ltd. (Beschwerdegegnerin) abgeschlossen, die bis Ende 2007 befristet war. In der "Bürgschaftsgarantie" wurde als "Zustellungsempfängerin" der Beschwerdegegnerin die X._ (Europe) AG mit Sitz in Q._ bestimmt.
Mit Schreiben vom 21. Dezember 2007 zeigte der Beschwerdeführer der Beschwerdegegnerin an, dass er die "Bürgschaftsgarantie" in Anspruch nehmen wollte. Die Beschwerdegegnerin lehnte jedoch ihre Leistungspflicht mit Schreiben vom 11. Januar 2008 ab, weil die Anzeige nicht rechtzeitig erfolgt sei.
B. Der Beschwerdeführer reichte am 28. Januar 2008 ein Sühnebegehren beim Friedensrichteramt Thalwil ein. Am 11. März 2008 fand eine Sühneverhandlung statt und am selben Tag wurde die Weisung ausgestellt.
Mit Klage vom 5. Juni 2008 beantragte der Beschwerdeführer dem Handelsgericht des Kantons Zürich, die Beschwerdegegnerin sei zu verpflichten, ihm den Betrag von EUR 400'000.-- zuzüglich Zinsen von 5 % seit 1. Februar 2008, Zug um Zug gegen Herausgabe der Aktien gemäss Vereinbarung vom 25. September 2003 (3 % der Y._ AG), zu bezahlen. Ferner sei sie zur Bezahlung der Friedensrichterkosten von Fr. 710.-- zu verpflichten.
Das Handelsgericht wies die Klage mit Urteil vom 15. Juni 2010 ab. Es befand, die Garantie sei nicht rechtzeitig im Sinne von Art. 510 Abs. 3 OR geltend gemacht worden und damit sei die Garantieforderung verwirkt.
C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, dieses Urteil aufzuheben und die Klage gutzuheissen, eventuell den Prozess an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Die vorliegende Beschwerde richtet sich gegen einen Endentscheid (Art. 90 BGG) in einer Zivilsache (Art. 72 Abs. 1 BGG), der von einem oberen kantonalen Gericht erging, das als Fachgericht für handelsrechtliche Streitigkeiten und einzige kantonale Instanz eingesetzt ist (Art. 75 Abs. 2 lit. b BGG). Der angefochtene Entscheid ist kantonal letztinstanzlich im Sinne von Art. 75 Abs. 1 BGG, soweit es um die Anwendung von Bundeszivilrecht bzw. von bundesrechtlichen Grundsätzen des Prozessrechts geht, die im vorliegenden Verfahren einzig gerügt wird (vgl. dazu BGE 134 III 524 E. 1.3 S. 527; 133 III 585 E. 3.2 und 3.4 S. 586 ff.).
Auf die erhobene Beschwerde in Zivilsachen, deren weitere Sachurteilsvoraussetzungen erfüllt sind, ist unter Vorbehalt ihrer rechtsgenüglichen Begründung (Art. 42 Abs. 2 BGG) einzutreten.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG; vgl. dazu BGE 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 133 II 249 E. 1.4.1 S. 254 mit Hinweisen). Die Beschwerde ist dabei hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Dazu ist unerlässlich, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.).
Diese Begründungsanforderungen gelten auch für die Beschwerdeantwort, wenn darin Erwägungen der Vorinstanz beanstandet werden, die sich für die im kantonalen Verfahren obsiegende Partei ungünstig auswirken können (Urteil 4A_347/2009 vom 16. November 2009 E. 4.1 in fine, nicht publ in: BGE 136 III 96).
2. Im vorliegenden Verfahren herrscht Einigkeit darüber, dass die aus der "Solidarbürgschaft" sich ergebende Forderung verwirkt ist, falls sie vom Beschwerdeführer nicht innerhalb der Frist nach Art. 510 Abs. 3 OR auf dem Rechtsweg wirksam geltend gemacht wurde. Die Geltendmachung der Forderung nach dieser Bestimmung bildet unbestrittenermassen Vertragsinhalt, unabhängig davon, ob die "Bürgschaftsgarantie" rechtlich als (Solidar)Bürgschaft oder als Garantie im Sinne von Art. 111 OR zu qualifizieren ist. Ebenfalls nicht strittig ist, dass die "Bürgschaftsgarantie" keine einfache Bürgschaft darstellt, was zur Folge gehabt hätte, dass die Forderung schon verwirkt wäre, weil der Beschwerdeführer nicht zuerst den Hauptschuldner gemäss Art. 495 OR ins Recht fasste, bevor er die Beschwerdegegnerin belangte. Der Streit dreht sich ausschliesslich darum, ob die Vorinstanz zu Recht entschied, dass die Forderung nicht rechtzeitig im Sinne von Art. 510 Abs. 3 OR auf dem Rechtsweg geltend gemacht wurde.
Ist die Bürgschaft nur für eine bestimmte Zeit eingegangen, so erlischt die Verpflichtung des Bürgen nach dieser Bestimmung, wenn der Gläubiger nicht binnen vier Wochen nach Ablauf der Frist (vorliegend: 31. Dezember 2007) seine Forderung rechtlich geltend macht und den Rechtsweg ohne erhebliche Unterbrechung verfolgt. Nach den vorinstanzlichen Ausführungen, reichte der Beschwerdeführer am 28. Januar 2008 ein Sühnebegehren beim Friedensrichteramt Thalwil ein, in dem er statt der Beschwerdegegnerin die X._ (Europe) AG aufführte.
Die Vorinstanz hielt zum einen dafür, dass im vorliegenden Fall kein Sühneverfahren durchzuführen, sondern die Klage direkt beim zuständigen Gericht einzuleiten gewesen wäre; die Anrufung des Friedensrichters habe die Verwirkungsfrist nicht zu wahren vermocht; dies schade dem Beschwerdeführer allerdings nicht, da ihm der analog anwendbare Art. 139 OR eine neue Frist zur Geltendmachung der Forderung gewähre; er habe aber auch die Nachfrist nach Art. 139 OR ungenutzt verstreichen lassen, indem er sich im vorinstanzlichen Verfahren nicht innert der Frist von Art. 510 Abs. 3 OR auf diese Bestimmung berufen habe, nachdem er mit Verfügung vom 18. November 2009 (recte: 18. November 2008) darauf hingewiesen worden sei, dass die Klage ohne Sühneverfahren direkt beim Handelsgericht hätte anhängig gemacht werden sollen.
Als Alternativbegründung führte die Vorinstanz zum andern aus, dass es sich bei der fehlerhaften Parteibezeichnung im Sühnebegehren zwar um einen verbesserlichen Fehler im Sinne von Art. 139 OR handle, sofern dem Beschwerdeführer bei Klageeinleitung ein Versehen in der Parteibezeichnung unterlaufen sei und die Beschwerdegegnerin erkannte oder nach dem Vertrauensprinzip habe erkennen müssen, dass die Ansprüche gegen sie und nicht gegen die im Sühnebegehren genannte X._ (Europe) AG geltend gemacht wurden; der Beschwerdeführer habe es aber unterlassen, das behauptete Versehen als Voraussetzung der Anwendbarkeit von Art. 139 OR ausreichend zu substanziieren, womit offen gelassen werden könne, ob die Beschwerdegegnerin das Versehen erkannt habe oder habe erkennen müssen.
Beide Parteien erheben gegen die vorinstanzliche Argumentation im Zusammenhang mit der Anwendung von Art. 139 OR verschiedene Einwendungen.
3. Ist die Klage oder die Einrede wegen Unzuständigkeit des angesprochenen Richters oder wegen eines verbesserlichen Fehlers angebrachtermassen oder als vorzeitig zurückgewiesen worden, so beginnt, falls die Verjährungsfrist unterdessen abgelaufen ist, eine neue Frist von 60 Tagen zur Geltendmachung des Anspruches (Art. 139 OR).
3.1 Die Beschwerdegegnerin hält dafür, die Klage hätte schon deshalb abgewiesen werden müssen, weil die analoge Anwendung von Art. 139 OR auf gesetzliche oder vertragliche Verwirkungsfristen grundsätzlich nicht sachgerecht sei. Damit widerspricht sie der langjährigen und konstanten bundesgerichtlichen Rechtsprechung, nach der Art. 139 OR bezüglich Verwirkungsfristen des Bundeszivilrechts analog anwendbar ist (vgl. namentlich mit ausführlicher Begründung BGE 89 II 304 E. 6; 61 II 148 E. 5; ferner BGE 109 III 49 E. 4b S. 51; 103 II 15 E. 3c, je mit Hinweisen; vgl. auch die weiteren Hinweise bei Stephen V. Berti, Zürcher Kommentar, 3. Aufl. 2002, N. 73 f. zu Art. 139 OR; Robert K. Däppen, in: Basler Kommentar, Obligationenrecht I, 4. Aufl. 2007, N. 4 zu Art. 139 OR; Pascal Pichonnaz, in: Commentaire Romand, Code des obligations I, 2003, N. 6 zu Art. 139 OR). Nach dieser bestehen für eine sinngemässe Anwendung von Art. 139 OR auf Verwirkungsfristen zureichende Gründe. Diese Norm will dem Gläubiger Gelegenheit geben, die unbillige Härte zu vermeiden, die darin liegen würde, dass sein Anspruch der Verjährung anheimfallen müsste, wenn die noch während deren Lauf angehobene Klage aus einem der vom Gesetz erwähnten Gründe zurückgewiesen wird und unterdessen die Verjährungsfrist abgelaufen ist. Sinn und Zweck von Art. 139 OR besteht mithin darin, den Gläubiger, der sein Interesse an der Geltendmachung der Forderung qualifiziert und rechtzeitig, indessen fehlerhaft bekundet hat, vor der Verjährung zu schützen, weil der Schuldner über dessen Absicht, die Forderung durchzusetzen, auch dadurch Gewissheit erlangt hat und damit das zur Wahrung seiner Interessen Notwendige vorkehren kann. Bei Verwirkungsfristen ist die Sach- und Interessenlage nicht anders, weshalb die ratio legis von Art. 139 OR nach einer sinngemässen Anwendung in diesen Fällen ruft. Es wäre nicht minder unbillig im Sinne der Wertung des Gesetzgebers, einen Anspruch als materiell verwirkt betrachten zu müssen, wenn er binnen der dafür bestehenden Klagefrist geltend gemacht wird, die Klage aber nach Ablauf der Frist aus einem der in Art. 139 OR genannten Gründe zurückgewiesen wird (BGE 114 II 335 E. 3a S. 338; 89 II 304 E. 6 S. 308; 61 II 148 E. 5a; vgl. dazu ferner: Pichonnaz, a.a.O., N. 1 f. zu Art. 139 OR; teilweise abweichend Berti, a.a.O., N. 3 zu Art. 139 OR und Däppen, a.a.O., N. 1 zu Art. 139 OR).
Die Beschwerdegegnerin hält dafür, einer sinngemässen Anwendung von Art. 139 OR auf Verwirkungsfristen stehe entgegen, dass sich Wortlaut und Systematik der Norm ausschliesslich auf Verjährungsfristen bezögen. Das Bundesgericht verwarf dieses Argument in BGE 61 II 148 E. 5c und 5f mit eingehender Begründung. Auf diese kann hier vollumfänglich verwiesen werden, da sich die Beschwerdegegnerin mit den entsprechenden Erwägungen nicht auseinandersetzt und nicht aufzeigt, inwiefern ihrer Ansicht nach insoweit Anlass für eine Praxisänderung bestehen soll (E. 1.2 vorne).
Weiter bringt die Beschwerdegegnerin zur Begründung ihres Standpunkts vor, dass Verwirkungsfristen im Gegensatz zu Verjährungsfristen nicht unterbrochen werden könnten. Zudem seien Verwirkungsfristen regelmässig wesentlich kürzer als Verjährungsfristen und bezweckten eine rasche und endgültige Klärung der Rechtslage; eine Verlängerung um die sechzigtägige Frist nach Art. 139 OR würde im vorliegenden Fall auf eine Verlängerung der Frist um mehr als das Doppelte hinauslaufen. Damit vermag die Beschwerdegegnerin indessen nicht zu widerlegen, dass die für eine Anwendung von Art. 139 OR sprechende Interessenlage bei Verjährungs- und Verwirkungsfristen dieselbe ist. Das Bundesgericht legte denn auch eingehend dar, weshalb die Anwendung von Art. 139 OR auf Verwirkungsfristen mit deren Natur nicht unvereinbar ist, und verneinte insbesondere, dass ein Interesse an einer raschen Streiterledigung, soweit Verwirkungsfristen dieses schützen, zu einer anderen Beurteilung führe (BGE 89 II 304 E. 6 S. 309 f.; 61 II 148 E. 5e). Die Beschwerdegegnerin setzt sich mit dieser Rechsprechung in keiner Weise auseinander, weshalb vorliegend kein Anlass zu deren Überprüfung besteht (E. 1.2 vorne).
Die Vorinstanz verletzte mithin kein Bundesrecht, indem sie Art. 139 OR auf die Verwirkungsfrist nach Art. 510 Abs. 3 OR analog anwendete.
3.2 Im Weiteren ist zu prüfen, ob die Vorinstanz eine Verwirkung der Garantieforderung im Zusammenhang mit der Einleitung der Klage beim Friedensrichter innerhalb der Frist nach Art. 510 Abs. 3 OR statt direkt beim Handelsgericht zu Recht bejahte.
Die Beschwerdegegnerin macht insoweit vorsorglich geltend, eine Anwendung von Art. 139 OR entfalle vorliegend schon deshalb, weil eine Rückweisung der Klage durch den Friedensrichter im Sinne dieser Bestimmung nicht erfolgt sei.
Dem kann nicht gefolgt werden. Die Beschwerdegegnerin beruft sich zur Begründung ausschliesslich auf den "klaren Wortlaut" von Art. 139 OR. Nach Rechtsprechung und Lehre kommt eine Nachfrist aber ungeachtet des Wortlauts der Bestimmung nicht nur in Frage, wenn ein formeller Rückweisungsentscheid ergeht, sondern auch wenn der Ansprecher seine Klage, noch bevor ein Nichteintretensentscheid ergeht, angebrachtermassen zurückzieht. In einem solchen Fall die Rechtswohltat einer Nachfrist schon grundsätzlich abzuerkennen, weil kein Nichteintretensentscheid abgewartet wurde bzw. erging, liefe auf einen überspitzten Formalismus hinaus (BGE 72 II 326 E. 4 S. 330 ff.; vgl. auch BGE 85 II 504 E. 3b S. 510 f.; Däppen, a.a.O., N. 9 zu Art. 139 OR; Pichonnaz, a.a.O., N. 9 und 12 zu Art. 139 OR). Eine Nachfrist nach Art. 139 OR fällt demnach nicht nur dann in Betracht, wenn ein formeller Nichteintretensentscheid ergangen ist. Das in Art. 139 OR genannte Tatbestandselement der (rechtskräftigen) Rückweisung als Voraussetzung für die (Auslösung einer) Nachfrist ist demnach nur insoweit als wesentlich zu betrachten, als damit mit hinreichender Sicherheit feststeht, dass die Klage fehlerhaft eingeleitet wurde und der Ansprecher davon Kenntnis erhalten hat (vgl. BGE 109 III 49 E. 4d, wo die Rechtssicherheit besonders betont wird).
Nach den vorinstanzlichen Feststellungen fehlte der Friedensrichterin, die der Beschwerdeführer im vorliegenden Fall mit seinem Sühnebegehren vom 28. Januar 2008 vor Ablauf der Frist nach Art. 510 Abs. 3 OR anrief, die Kompetenz zum Erlass eines formellen Rückweisungsentscheids. Ohnehin habe sie ihre funktionelle Unzuständigkeit gar nicht erkannt und dieselbe demnach auch nicht festgestellt. Der Beschwerdeführer habe in Unkenntnis der fehlerhaften Prozesseinleitung die Klage innerhalb der dreimonatigen Frist (zur Prosequierung der Klage) nach § 101 ZPO/ZH beim Handelsgericht rechtshängig gemacht. Erst nachdem die Beschwerdegegnerin die Einrede erhob, gegen sie sei kein Sühneverfahren durchgeführt worden, stellte das Handelsgericht in seiner Verfügung vom 18. November 2008 fest, dass die Klage ohne Sühneverfahren bei ihm rechtshängig zu machen gewesen wäre, weshalb das Verfahren ohne Weiterungen schriftlich fortzusetzen sei.
Der Beschwerdeführer hatte somit von der fehlerhaften Klageeinleitung bis zur Zustellung der Verfügung vom 18. November 2008 gar keine Kenntnis und diese war vorher im Prozess überhaupt kein Thema. In diesem Fall bei Bekanntwerden des Fehlers eine Verwirkung der Forderung wegen verspäteter rechtlicher Geltendmachung anzunehmen, unter grundsätzlichem Ausschluss einer Fristwahrung nach Art. 139 OR, weil kein formeller Nichteintretensentscheid ergangen ist, erschiene im Lichte des vorstehend Ausgeführten als unhaltbar. Solches liefe offensichtlich dem Zweck von Art. 139 OR zuwider, den Ansprecher, der die Klage - innerhalb der Verjährungs- bzw. Verwirkungsfrist - fehlerhaft eingeleitet hat, vor einem Rechtsverlust zu schützen, wenn dadurch keine schutzwürdigen Interessen der Gegenpartei tangiert werden.
Die Vorinstanz verletzte demnach kein Bundesrecht, indem sie die Anwendbarkeit von Art. 139 OR nicht schon deshalb ausschloss, weil kein Rückweisungsentscheid ergangen war.
3.3 Der Beschwerdeführer rügt, die Vorinstanz habe Art. 139 OR falsch angewendet und gegen den Grundsatz "iura novit curia" verstossen, indem sie entschied, er hätte sich nach der Verfügung vom 18. November 2008 trotz der Rechtshängigkeit der Klage am zuständigen Gericht (bei der Vorinstanz) ausdrücklich auf diesen Artikel berufen müssen. Er habe bereits vor Ablauf der Frist nach Art. 139 OR die Klage bei der Vorinstanz anhängig gemacht und damit die Frist gewahrt.
Die Rüge ist begründet. Es trifft zwar zu, dass die Nachfrist nach Art. 139 OR durch einen Rückweisungsentscheid oder einen Klagerückzug im fehlerhaft eingeleiteten Prozess von Gesetzes wegen ausgelöst wird, wie die Vorinstanz annahm (vgl. BGE 100 III 35 E. 3). Ob auch die Verfügung vom 18. November 2008, die auf eine Einrede der Beschwerdegegnerin hin erging und somit nicht darauf ausgerichtet war, den Beschwerdeführer auf die fehlerhafte Prozesseinleitung aufmerksam zu machen, überhaupt geeignet war, die Nachfrist auszulösen, kann offen bleiben. Denn eine solche muss vorliegend jedenfalls als gewahrt betrachtet und der Eintritt der Verwirkung verneint werden, hatte doch der Beschwerdeführer schon vor Ergehen der genannten Verfügung alles vorgekehrt, was er konnte, um die fehlerhafte Prozesseinleitung zu verbessern bzw. um den Anspruch im Sinne von Art. 139 OR (erneut) geltend zu machen, indem er die Klage bei der Vorinstanz als zuständigem Gericht anhängig machte. Waren die tatsächlichen Voraussetzungen für eine Ablaufhemmung der Verwirkungsfrist damit erfüllt, wäre es Aufgabe der Vorinstanz gewesen, im Rahmen der Rechtsanwendung von Amtes wegen festzustellen, dass die Verwirkungsfrist insoweit gestützt auf Art. 139 OR gewahrt wurde (vgl. dazu BGE 100 III 35 E. 3 S. 39). Indem die Vorinstanz verlangte, dass sich der Beschwerdeführer innerhalb der durch die Verfügung vom 18. November 2008 ausgelösten Nachfrist besonders auf diese Bestimmung hätte berufen müssen, um diese zu wahren, und die Klage aus diesem Grund abwies, verletzte sie den bundesrechtlichen Grundsatz iura novit curia (vgl. dazu BGE 113 II 277 E. 4a S. 279; 109 II 260 E. 3d; 107 II 119 E. 2a S. 122 f., 417 E. 4 S. 418). Die Beschwerde ist insoweit gutzuheissen.
3.4 Es ist damit weiter zu prüfen, ob die Vorinstanz (mit ihrer Eventualbegründung) die Verwirkung des Garantieanspruchs im Zusammenhang mit der Aufführung der X._ (Europe) AG statt der Beschwerdegegnerin im Sühnebegehren zu Recht bejahte.
3.4.1 Die Beschwerdegegnerin hält vorsorglich dafür, bei Einklagung einer falschen Person sei Art. 139 OR von vornherein nicht anwendbar, da es sich dabei nicht um einen verbesserlichen Fehler im Sinne dieser Bestimmung handle. Die Vorinstanz habe Art. 139 OR auch insoweit zu Unrecht für grundsätzlich anwendbar betrachtet.
Diese Argumentation stösst ins Leere. Der Vorinstanz entging nicht, dass Art. 139 OR nicht anwendbar ist, wenn der Ansprecher die falsche Person eingeklagt hat, der die Passivlegitimation fehlt, da es sich dabei nicht um einen verbesserlichen Fehler im Sinne dieser Norm handelt (BGE 114 II 335 E. 3a S. 338; 32 II 186 E. 2 S. 189; Urteil 5C.31/2005 vom 29. September 2005 E. 1.2, nicht publ. in: BGE 132 III 1; vgl. Däppen, a.a.O., N. 8a zu Art. 139 OR; Berti, a.a.O., N. 28 zu Art. 139 OR). Sie hielt indessen dafür, die fehlerhafte Parteibezeichnung sei dann als verbesserlicher Fehler zu betrachten, wenn diese auf einem Versehen beruhe und die passivlegitimierte Person erkenne oder nach dem Vertrauensprinzip erkennen müsse, dass die Ansprüche nach dem wirklichen Willen des Ansprechers nicht gegen die im Rubrum aufgeführte Person, sondern gegen sie erhoben würden. Inwiefern die Vorinstanz damit Bundesrecht verletzt haben soll, legt die Beschwerdegegnerin nicht dar und ist auch nicht ersichtlich. Vielmehr entspricht dies der bundesgerichtlichen Rechtsprechung, nach der eine Berichtigung der Parteibezeichnung zulässig ist, wenn jede Gefahr einer Verwechslung ausgeschlossen werden kann (vgl. BGE 131 I 57 E. 2.2 S. 63; 120 III 11 E. 1b S. 13 f.; 114 II 335 E. 3a S. 337), und nach der eine Unterbrechungshandlung im Sinne von Art. 135 Ziff. 2 OR durch eine nicht aktivlegitimierte oder gegen eine nicht passivlegitimierte Person die Verjährung dann zu unterbrechen vermag, wenn keine Zweifel an der wahren Identität der Partei bestehen, indem der Schuldner nach den Umständen trotz unrichtiger Parteibezeichnung die Absicht des Gläubigers, ihn ins Recht zu fassen, erkennt oder erkennen muss. In diesen Fällen wird der Schuldner nicht in seinen schutzwürdigen Interessen verletzt, wenn trotz der fehlenden Aktiv- oder Passivlegitimation des irrtümlich als Partei aufgeführten Dritten die Verjährung unterbrochen wird, da er jedenfalls über die Absicht des Gläubigers seine Forderung durchzusetzen, Gewissheit hat (BGE 114 II 335 E. 3a S. 337 f. mit ausdrücklicher Bezugnahme auf Art. 139 OR; Urteile 4C.363/2006 vom 13. März 2007 E. 4.2; 4C.185/2005 vom 19. Oktober 2006 E. 3.2). Diese Rechtsprechung verfolgt den gleichen Zweck wie Art. 139 OR (BGE 114 II 335 E. 3a S. 338), weshalb es sich nach dem in der vorstehenden Erwägung 3.1 Ausgeführten rechtfertigt, sie auch auf Handlungen zur Wahrung von Verwirkungsfristen anzuwenden.
Die Vorinstanz erwog mithin zu Recht, es sei zu prüfen, ob dem Beschwerdeführer bei der Klageeinleitung ein Versehen in der Parteibezeichnung unterlief und ob die Beschwerdegegnerin erkannte bzw. nach dem Vertrauensprinzip erkennen musste, dass die Ansprüche gegen sie und nicht gegen die im Sühnebegehren genannte X._ (Europe) AG geltend gemacht wurden.
3.4.2 Die Vorinstanz forderte den Beschwerdeführer in diesem Zusammenhang mit Verfügung vom 18. September 2009 auf, die konkreten Umstände darzulegen, wem wann inwiefern welches Versehen unterlaufen sei, weil die Beschwerdegegnerin bestreite, dass es sich bei der fehlerhaften Parteibezeichnung um ein Versehen gehandelt habe. Sie hielt im angefochtenen Entscheid dafür, der Beschwerdeführer sei seiner Substanziierungspflicht nicht nachgekommen, indem er lapidar darauf hinweise, dass die fehlerhafte Bezeichnung der Beklagten auf einem Kanzleiversehen beruhe. Denn er habe insoweit insbesondere nicht ausgeführt, welcher Person das Versehen unterlaufen und wie es zu diesem gekommen sein soll. Demzufolge könne sich der Beschwerdeführer nicht auf einen verbesserlichen Fehler im Sinne von Art. 139 OR berufen, da er nicht genügend konkret behauptet habe, dass es sich tatsächlich um ein Versehen handelte und nicht doch Zweifel an der Identität der wahren Partei bestanden.
Der Beschwerdeführer rügt, die Vorinstanz habe damit überhöhte Anforderungen an die Substanziierungspflicht bezüglich des Versehens bei der Aufführung der X._ (Europe) AG im Sühnebegehren gestellt.
3.4.2.1 Die Pflicht einer Prozesspartei, ihre Sachdarstellungen zu substanziieren, bedeutet, dass die Partei die Tatsachen nicht nur in den Grundzügen, sondern so umfassend und klar dazulegen hat, dass darüber Beweis abgenommen werden kann. Dabei bestimmt das Bundesrecht, wie weit ein Sachverhalt zu substanziieren ist, damit er unter die Bestimmungen des materiellen Rechts subsumiert werden kann. Wie weit die anspruchsbegründenden Tatsachen im Hinblick darauf inhaltlich zu substanziieren sind, ergibt sich einerseits aus den Tatbestandsmerkmalen der angerufenen Norm und anderseits aus dem prozessualen Verhalten der Gegenpartei. Tatsachenbehauptungen müssen dabei so konkret formuliert sein, dass ein substanziiertes Bestreiten möglich ist oder der Gegenbeweis angetreten werden kann (BGE 108 II 337 E. 2b S. 339; seither BGE 133 III 153 E. 3.3 S. 162; 127 III 365 E. 2b S. 368; 123 III 183 E. 3e S. 187 f.). Stellt der kantonale Richter überhöhte Anforderungen an die Substanziierungslast, indem er detailliertere Tatsachenbehauptungen verlangt als für die rechtliche Beurteilung des anspruchsbegründenden Sachverhalts nötig, verletzt er Bundesrecht und namentlich Art. 8 ZGB (BGE 114 II 289 E. 2a; 112 II 180 E. 2c).
Im vorliegenden Fall geht es darum, ob der Beschwerdeführer hinreichend konkrete, für ein Versehen im Sinne der vorstehend (E. 3.4.1) dargestellten Rechtsprechung sprechende Umstände geltend machte, dass darüber Beweis erhoben und daraus bei Gelingen des Beweises auf eine versehentliche bzw. irrtümliche Handlung geschlossen werden kann. Rechtlich liegt eine solche Handlung vor, wenn eine Diskrepanz zwischen dem Gewollten und dem tatsächlich Vorgenommenen bzw. Erklärten besteht (vgl. dazu im Zusammenhang mit dem Erklärungsirrtum im Sinne von Art. 24 Abs. 1 Ziff. 1 OR: BGE 110 II 293 E. 5a; Urteil 4C.335/1995 vom 6. Juni 1996 E. 2b/aa, publ. in: Pra 1996 Nr. 239 S. 935; Gauch/Schluep/Schmid/Emmenegger, OR Allgemeiner Teil, 9. Aufl., 2008, Rz. 810). Vorliegend ist unbestritten, dass der Beschwerdeführer im Sühnebegehren die X._ (Europe) AG aufführte. Zu prüfen blieb durch die Vorinstanz damit einzig die Tatfrage, wen er aufführen wollte.
3.4.2.2 Nach den vorinstanzlichen Feststellungen führte der Beschwerdeführer auf die Substanziierungsaufforderung in der Verfügung vom 18. September 2009 hin aus, es handle sich bei der Aufführung der X._ (Europe) AG im Sühnebegehren um ein Kanzleiversehen; versehentlich sei nur die Zustelladresse [und Adresse der Vertreterin, X._ (Europe) AG] aufgeführt worden; jedoch sei klar gewesen, dass der Vertrag mit der Beschwerdegegnerin geschlossen gewesen sei und dass ihr gegenüber Ansprüche aus Vertrag geltend gemacht werden sollten; das Versehen sei erst bemerkt worden, als zur Friedensrichterverhandlung vorgeladen worden sei; mit Schreiben vom 11. März 2008 sei das Versehen der Friedensrichterin mitgeteilt und um Korrektur des Rubrums gebeten worden; es werde bestritten, dass der Beschwerdeführer an der Sühneverhandlung an der fehlerhaften Bezeichnung festgehalten habe.
Es ist fraglich, ob der Beschwerdeführer mit diesen Vorbringen nicht hinreichend konkrete Anhaltspunkte dafür anführte, dass die Aufführung der X._ (Europe) AG nicht seinem Willen entsprach, dass darüber Beweis abgenommen und in der Folge gegebenenfalls auf ein Versehen geschlossen werden könnte. Der Vorinstanz kann insbesondere nicht gefolgt werden, wenn sie dafür hält, die Vorbringen des Beschwerdegegners hinsichtlich der Entdeckung des Versehens und der darauffolgenden Reaktion seien in Bezug auf die Substanziierung irrelevant. Denn für die Frage, ob beweiswürdigend davon ausgegangen werden kann, der Beschwerdeführer habe im Sühnebegehren nicht die X._ (Europe) AG aufführen wollen, ist das nachträgliche Parteiverhalten sehr wohl bedeutend, indem es Rückschlüsse auf einen mit der getätigten Handlung nicht übereinstimmenden Willen der Partei zulassen kann (vgl. dazu im Zusammenhang mit der Vertragsauslegung BGE 133 III 61 E. 2.2.2.2 S. 69; 129 III 675 E. 2.3 S. 680); es kommt bei der Erschliessung des tatsächlichen Willens des Erklärenden nicht einzig auf die der angeblich irrtümlichen Erklärungshandlung vorangegangenen Umstände an. Letztlich kann aber vorliegend die Frage der rechtsgenüglichen Substanziierung offen gelassen werden.
Denn die Vorinstanz stellte verbindlich fest (Art. 105 Abs. 1 BGG), dass sich der Beschwerdeführer im Zeitpunkt der Stellung des Sühnebegehrens darüber im Klaren war, wer sein Vertragspartner war und wen er dementsprechend ins Recht fassen wollte. Die Vorinstanz führte dazu aus, der Beschwerdeführer bringe in der Klagebegründung zwar vor, dass nicht restlos klar sei, wer seine Vertragspartnerin sei; darin sei indessen kein Widerspruch zum behaupteten Versehen in der Parteibezeichnung zu sehen, sondern ein Erklärungsversuch für die fehlerhafte Nennung der Partei; denn der rechtskundig vertretene Beschwerdeführer habe in der vorprozessualen Korrespondenz keinen Zweifel daran gelassen, wen er als ins Recht zu fassende Person betrachte, nämlich die Beschwerdegegnerin; die Korrespondenz zeige auf, dass er sich bis zur Stellung des Sühnebegehrens nicht im Unklaren war, gegen wen sich sein Anspruch richte. Steht aber fest, wen der Beschwerdeführer ins Recht fassen wollte, nämlich die Beschwerdegegnerin, und führte er im Sühnebegehren entgegen diesem feststehenden Willen nicht diese, sondern die X._ (Europe) AG auf, hätte die Vorinstanz rechtlich ohne weiteres von einem Versehen ausgehen müssen, das darin liegt, dass er eine Prozesserklärung abgab, die nicht seinem Willen entsprach (vorstehende E. 3.4.2.1 in fine).
Die Vorinstanz verletzte damit auch Bundesrecht, soweit sie die Klage mit der Begründung abwies, der Beschwerdeführer habe das von ihm behauptete Versehen nicht hinreichend substanziiert. Die Vorinstanz hätte nach ihren tatsächlichen Feststellungen vielmehr ein Versehen als gegeben betrachten müssen und hätte damit gar keine weitere Substantiierung desselben (bzw. von Umständen, aus denen auf ein solches geschlossen werden kann) verlangen dürfen. Die Beschwerde ist auch insoweit gutzuheissen.
3.4.3 Damit ist die von der Vorinstanz offen gelassene Frage zu prüfen, ob die Beschwerdegegnerin das Versehen des Beschwerdegegners tatsächlich erkannte oder ob Umstände vorliegen, nach denen die Beschwerdegegnerin das Versehen nach Treu und Glauben erkennen musste (E. 3.4.1 vorne). Die Tatfrage, ob die Beschwerdegegnerin das Versehen tatsächlich erkannte, zu beantworten, ist nicht Aufgabe des Bundesgerichts als Rechtskontrollinstanz. Indes ist vorliegend zu prüfen, ob nach den von der Vorinstanz festgestellten Umständen anzunehmen ist, die Beschwerdegegnerin habe das Versehen nach Treu und Glauben erkennen müssen.
In diesem Zusammenhang ist zu beachten, dass C._, einer der Unterzeichner der "Bürgschaftsgarantie", nach den übereinstimmenden Parteibehauptungen im vorinstanzlichen Verfahren sowohl Organ der Beschwerdegegnerin als auch der Zustellungsempfängerin bzw. Zustellungsbevollmächtigten X._ (Europe) AG war. Schon aus diesem Grund ist ohne weiteres anzunehmen, die Beschwerdegegnerin habe von der Klageeinleitung beim Friedensrichteramt Thalwil Kenntnis erhalten (vgl. BGE 109 II 338 E. 2a in fine und E. 2b S. 341 f.; Urteil 5C.104/2001 vom 21. August 2001 E. 4c/bb). Dies scheint im vorinstanzlichen Verfahren denn auch nicht strittig gewesen zu sein. Ferner ist zu berücksichtigen, dass die Beschwerdegegnerin im vorinstanzlichen Verfahren die Auffassung vertrat, dass sehr wohl klar gewesen sei, dass sie und nicht die X._ (Europe) AG Vertragspartnerin des Beschwerdeführers sei, wie auch, dass die Vorinstanz feststellte, der rechtskundig vertretene Beschwerdeführer habe in der vorprozessualen Korrespondenz keinen Zweifel daran gelassen, dass er die Beschwerdegegnerin als ins Recht zu fassende Person betrachte. Wenn der Beschwerdeführer unter diesen Umständen im Rubrum des Sühnebegehrens bloss die Zustellungsempfängerin X._ (Europe) AG, und nicht die als Gegenpartei anvisierte Beschwerdegegnerin, aufführte, so musste letztere dies ohne weiteres als Versehen erkennen.
3.4.4 Damit hat die Vorinstanz die Verwirkung des Garantieanspruchs auch zu Unrecht verneint, weil der Beschwerdeführer im Rubrum des Sühnebegehrens die X._ (Europe) AG statt der Beschwerdegegnerin aufführte.
4. Die Beschwerdegegnerin vertrat im vorinstanzlichen Verfahren weiter den Standpunkt, die Klage wäre auch abzuweisen gewesen, weil der Beschwerdegegner nicht bis zum 31. Dezember 2007 erklärt habe, dass er die "Bürgschaftgarantie" in Anspruch nehmen wolle, wie es im Vertrag vom 20. Dezember 2006 vereinbart sei. Sie begründete diese Ansicht damit, das Scheiben des Beschwerdeführers vom 21. Dezember 2007 sei ihr nicht vor Ablauf des Jahres 2007 zugegangen. Es sei rechtlich ohne Relevanz, dass ihr die Post am 22. Dezember 2007 eine Abholungseinladung für die eingeschriebene Sendung in den Briefkasten gelegt habe, da der Beschwerdeführer nicht in guten Treuen habe damit rechnen dürfen, dass die X._ (Europe) AG der Beschwerdegegnerin das Schreiben zur Kenntnis bringen würde, da die meisten Betriebe über die Feiertage 2007/2008 geschlossen gewesen seien.
Die Vorinstanz hat diese Auffassung mit eingehender Begründung, auf die hier verwiesen werden kann, verworfen, wogegen sich die Beschwerdegegnerin im vorliegenden Verfahren vorsorglich wendet. Sie begnügt sich insoweit allerdings damit, auf ihrer Ansicht zu beharren, der Beschwerdeführer habe damit rechnen müssen, dass die Büros der Beschwerdegegnerin bzw. der X._ (Europe) AG über die Feiertage im Jahr 2007 geschlossen bleiben würden, bzw. er habe entgegen den vorinstanzlichen Erwägungen nicht damit rechnen dürfen, die Beschwerdegegnerin werde sein Schreiben rechtzeitig, d.h. vor Jahresende abholen. Sie zeigt indes in keiner Weise auf, inwiefern der Vorinstanz mit ihren zu einem anderen Schluss führenden Erwägungen eine Rechtsverletzung vorzuwerfen sein soll. Insoweit ist auf ihre Vorbringen mangels hinreichender Begründung nicht einzutreten (E. 1.2 vorne).
5. Zusammenfassend erweisen sich sämtliche von der Beschwerdegegnerin im vorliegenden Verfahren verfochtenen Standpunkte als unbegründet, soweit auf die entsprechenden Vorbringen überhaupt eingetreten werden kann, wohingegen die Beschwerde vollumfänglich gutzuheissen ist, unter Aufhebung des angefochtenen Urteils. Dem Antrag auf Klagegutheissung ist stattzugeben. So ist die Verwirkungsfrist nach Art. 510 Abs. 3 OR nach dem Ausgeführten als gewahrt zu betrachten. Der Beschwerdeführer vertritt in der Beschwerde die Auffassung, es bestünden unter dieser Prämisse keine Gründe gegen die Leistungspflicht bzw. die Gutheissung der Klage. Die Beschwerdegegnerin widerspricht dem nur mit dem (unzutreffenden) Argument, die "Klage" des Beschwerdeführers sei verwirkt, führt aber keine anderen Gründe an, die gegen eine Klagegutheissung sprächen. Demnach ist die Sache einzig zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückzuweisen.
Bei diesem Ausgang des Verfahrens wird die Beschwerdegegnerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das Urteil des Handelsgerichts des Kantons Zürich vom 15. Juni 2010 aufgehoben und die Klage gutgeheissen. Demzufolge wird die Beschwerdegegnerin verpflichtet, dem Beschwerdeführer den Betrag von EUR 400'000.-- zuzüglich Zinsen von 5 % seit 1. Februar 2008, Zug um Zug gegen Herausgabe der Aktien gemäss Vereinbarung vom 25. September 2003 (3 % der Y._ AG), zu bezahlen. Ferner wird sie zur Bezahlung der Friedensrichterkosten von Fr. 710.-- verpflichtet.
2. Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
3. Die Gerichtskosten von Fr. 8'000.-- werden der Beschwerdegegnerin auferlegt.
4. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 9'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 15. November 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Widmer