Sachverhalt: A. A.a. Am 7. November 2006 unterzeichneten Y._ (Kläger, Beschwerdegegner) als Verkäufer einerseits und X._ (Beklagter, Beschwerdeführer) sowie Z._ als Käufer anderseits einen "Kauf- und Übertragungsvertrag". Der Vertrag hatte den Verkauf und die Übertragung von je 1'250 Namenaktien der A._ Holding AG (später B._ Holding AG Winterthur, heute B._ Holding AG; nachfolgend: B._ Holding AG Winterthur) auf die beiden Käufer zum Gegenstand. In Ziff. 1.6 des Vertrags wurde "abschliessend" festgehalten, welche Beteiligungen am Transaktionstag von der B._ Holding AG Winterthur noch gehalten würden. Aufgeführt wurden: - I._ Verlag GmbH & Co. KG - C._ Verlag GmbH & Co. KG - D._ GmbH & Co. KG - E._ GmbH - I._ Verlag AG - Gesellschaft G._ Am Kapital der beiden traditionsreichen deutschen Verlagshäuser I._ Verlag (I._ Verlag GmbH & Co. KG) und Insel Verlag (C._ Verlag GmbH & Co. KG), war die B._ Holding AG Winterthur bzw. ist die heutige B._ Holding AG zu je 39 % beteiligt. Die restlichen Anteile an den beiden deutschen Verlagen gehören der "Stiftung H._". Der Kaufpreis für "alle mit diesem Vertrag erworbenen Aktien" wurde auf Fr. 10'800'000.-- festgelegt. Weiter wurde bestimmt, dass die beiden Käufer "für die Bezahlung des Kaufpreises gegenüber dem Verkäufer als Solidarschuldner" haften. Unter dem Titel "Garantien (Gewährleistung) " erhielten die Käufer eine Reihe von Zusicherungen (Ziff. 4.1). Mit Ziff. 4.2 des Vertrags wurde allerdings darüber hinaus unter dem Titel "Freizeichnung", "unter dem Vorbehalt der in § 4.1 abschliessend aufgeführten Garantien und Zusicherungen [...] jede Gewährleistungspflicht des Verkäufers für Sach- und Rechtsmängel jeder Art vollumfänglich wegbedungen, soweit dies gesetzlich zulässig ist". Ziff. 10.5 des Vertrags bestimmte, dass schweizerisches materielles Recht anwendbar sei. Und als Gerichtsstand wurde das "Bezirksgericht Winterthur" vereinbart. In der Folge kam X._ seinen Verpflichtungen aus dem Vertrag vom 7. November 2006 nach: Für Fr. 5'400'000.-- übernahm er die Hälfte der Aktien der B._ Holding AG Winterthur. Dagegen erfüllte Z._ seine Verpflichtungen aus dem Vertrag nicht, so dass der Verkäufer schliesslich gegenüber Z._ von dem am 7. November 2006 abgeschlossenen Vertrag zurücktrat. A.b. Am 19./20. April 2007 unterzeichneten der Verkäufer und X._ einen weiteren "Kauf- und Übertragungsvertrag" betreffend den "Kauf von 1'250 weiteren Namenaktien" der B._ Holding AG Winterthur durch X._. Damit erwarb X._ "die vom Vertragsrücktritt betroffenen 1'250 Namenaktien der B._ Holding AG Winterthur im Nennwert von je Fr. 1'000.-- zum Kaufpreis von Fr. 5'400'000.--". Der Kaufpreis war gemäss Ziff. 4 wie folgt zu bezahlen: - Fr. 400'000.-- "per 9.7.2007 (Fixtermin, Valuta Kontogutschrift) "; - Fr. 5'000'000.-- "per 30.6.2009 (Fixtermin, Valuta Kontogutschrift) ". Gemäss Vereinbarung (Ziff. 5) ist bei Verzug "ab dem 2. Bankwerktag nach Ablauf des Fixtermins ohne Mahnung ein Verzugszins in Höhe von 7,5 % p.a. geschuldet". Die Übertragung der weiteren 1'250 Namenaktien auf X._ hatte gemäss Ziff. 8 des Vertrags vom 19./20. April 2007 "gemäss schweizerischem Recht innerhalb von 10 Arbeitstagen seit Zahlungseingang" der ersten Rate von Fr. 400'000.-- zu erfolgen. Auf diesen zweiten Vertrag waren gemäss dessen Ziff. 10 die Bestimmungen des ersten Vertrags vom 7. November 2006 "sinngemäss" anwendbar. Vereinbart wurde auch hier die Anwendung "schweizerischen materiellen Rechts" und als Gerichtsstand wurde "Winterthur" festgelegt. X._ bezahlte den Teilbetrag von Fr. 400'000.-- vertragsgemäss. Indessen weigerte er sich knapp zwei Jahre später, den dann fällig gewordenen zweiten Teilbetrag von Fr. 5'000'000.-- zu leisten. Mit Brief vom 26. Juni 2009 warf X._ dem Verkäufer stattdessen vor, dieser habe ihn "über das Konfliktpotential im Vorfeld des Aktienkaufvertrags nicht ausreichend informiert". Durch das Verhalten des Verkäufers sei ihm Schaden entstanden, weshalb er "vorsorglich" die Verrechnung seiner Schadenersatzforderung mit der Restkaufpreisforderung des Verkäufers erkläre. B. Mit Klage vom 19. August 2009 beantragte der Verkäufer dem Handelsgericht des Kantons Zürich, X._ sei zu verpflichten, ihm Fr. 5'000'000.-- zuzüglich Zins von 7,5 % seit dem 2. Juli 2009 zu bezahlen. Der Beklagte bestritt mit seiner Klageantwortschrift die sachliche Zuständigkeit des angerufenen Gerichts und verlangte mit seinem Eventualantrag die Abweisung der Klage. Durch Beschluss vom 11. Februar 2010 verwarf das Handelsgericht die Unzuständigkeitseinrede des Beklagten. Auf Beschwerde des Beklagten hin hob das Kassationsgericht des Kantons Zürich indessen diesen Entscheid auf und wies die Sache an das Handelsgericht zurück. Mit Beschluss vom 12. August 2012 wies das Handelsgericht die Unzuständigkeitseinrede des Beklagten erneut ab. Dieser Entscheid wurde in der Folge nicht angefochten. Mit Urteil vom 7. Mai 2013 hiess das Handelsgericht des Kantons Zürich die Klage gut. C. Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht: "I. Das Urteil des Handelsgerichts Zürich vom 7.5.2013 (...) sei aufzuheben und die Klage vom 19.8.09 abzuweisen. II. Eventualiter: Die Rechtssache sei an die Vorinstanz zurückzuweisen um die Rechtssache unter Anwendung des nach den Art. 154 I und 155 IPRG anwendbaren deutschen Sitzstatuts der Gesellschaft bürgerlichen Rechts X._/Z._ erneut zu behandeln. III. Die Rechtssache sei an die Vorinstanz zurückzuverweisen um die Rechtssache unter Anwendung des korrekten Sachverhalts - demzufolge eine Streitverkündung nach § 72 ZPO D nur dann möglich ist, wenn der Beschwerdeführer auch Partei des deutschen Verfahrens war - erneut zu behandeln. IV. (...) V. (...) " Es wurden keine Vernehmlassungen eingeholt. D. Mit Präsidialverfügung vom 19. Juli 2013 wurden die Gesuche des Beschwerdeführers um Gewährung der aufschiebenden Wirkung und Anordnung einer vorsorglichen Massnahme abgewiesen.