Sachverhalt:
A. Y._ (Beschwerdegegner) brachte sein erhebliches Vermögen in zwei Stiftungen und einen Trust ein. Diese Einrichtungen betrauten ihrerseits anfangs 1999 eine Aktiengesellschaft, welche der von X._ (Beschwerdeführer) gegründeten X._-Gruppe angehörte, mit der Verwaltung diverser Accounts, während für andere Konti nur eine Beratung bezüglich der Anlagestrategie erfolgen sollte. Nachdem der Beschwerdegegner Mitte November 2002 erfahren hatte, dass auf dem Konto einer der Stiftungen wesentlich weniger Vermögen lag als seiner Meinung nach hätte vorhanden sein müssen (statt rund Fr. 22 Millionen nur noch knapp Fr. 6.5 Millionen), gelangte er an den Beschwerdeführer. Dieser unterzeichnete am 20. November 2002 ein erstes als "Acknowledgment of debt" betiteltes Dokument, in welchem er sich verpflichtete, Fr. 15'620'000.-- an den Beschwerdegegner zu bezahlen und für die Zahlung Pfandsicherheiten zu stellen, unter anderem (soweit notwendig) auch sein Haus in A._. Gleichzeitig schlossen die Parteien eine Zusatzvereinbarung, worin der Beschwerdegegner erklärte, auf rechtliche Schritte zu verzichten, die dem Ruf des Beschwerdeführers oder seiner Gesellschaften schaden könnten. Der Beschwerdegegner war damit einverstanden, dass der Beschwerdeführer den anerkannten Betrag nicht sofort bezahlte, verlangte aber vom Beschwerdeführer, die Schuld durch ein Grundpfand auf dem Haus des Beschwerdeführers sicherzustellen.
B. In der Folge bezahlte der Beschwerdeführer einen Teilbetrag der anerkannten Schuld. Die Bestellung des Grundpfandes verzögerte sich. Die Parteien schlossen eine Vereinbarung über die Abzahlung der Schuld, bei deren Abwicklung es ebenso wie bei der Errichtung des Schuldbriefs zu Problemen kam. Nachdem der Beschwerdegegner eine Betreibung eingeleitet und wieder zurückgezogen hatte, unterzeichneten die Parteien am 2. November 2003 ein mit "Agreement" überschriebenes Dokument, in welchem zunächst festgehalten wird, es ersetze die am 20. November 2002 unterzeichnete Schuldanerkennung. Nach Abzug der erfolgten Zahlungen verblieben nach diesem Agreement Fr. 11'398'575.--, welche der Beschwerdeführer binnen zweier Jahre (mit der Möglichkeit der Verlängerung um ein Jahr) zurückzuzahlen versprach, während der Beschwerdegegner für diese Zeitspanne auf das Ergreifen rechtlicher Schritte verzichtete. Eine während der Stillhaltefrist angestrengte Klage zur Eintreibung der Schuld sollte zum Dahinfallen der Vereinbarung führen. Neben anderen Abreden zur Sicherung des Beschwerdegegners wurde festgehalten:
"X._ has the intention to sell his house in A._ and guarantees Y._ that at least CHF 3 Million will be paid out to Y._ if the sales amount permits this."
Am 10. Mai 2004 verkaufte der Beschwerdeführer seine Liegenschaft in A._ zu einem Preis von Fr. 8'250'000.--. Eine Zahlung an den Beschwerdegegner leistete er trotz entsprechender Aufforderung nicht.
C. Mit Zahlungsbefehl vom 21. Oktober 2004 leitete der Beschwerdegegner eine Betreibung auf Sicherheitsleistung ein und erhielt für den Betrag von Fr. 3'000'000.-- provisorische Rechtsöffnung. Die vom Beschwerdeführer angestrengte Aberkennungsklage wies das Bezirksgericht Meilen ab. Gleich entschied mit Urteil vom 2. März 2010 das Obergericht des Kantons Zürich. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, es sei festzustellen, dass die in Betreibung gesetzte Pflicht zur Sicherstellung nicht bestehe, eventuell sei die Streitsache zur Neubeurteilung an das Obergericht zurückzuweisen. Sein Gesuch um Gewährung der aufschiebenden Wirkung wies das Bundesgericht am 6. Mai 2010 ab. Der Beschwerdegegner schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten ist, während das Obergericht auf Vernehmlassung verzichtet. Das Bundesgericht hat die Angelegenheit am 28. September 2010 an einer öffentlichen Sitzung beraten.

Erwägungen:
1. Der Beschwerdeführer macht zunächst geltend, die Vorinstanz habe die getroffenen Vereinbarungen nach dem Vertrauensprinzip nicht korrekt ausgelegt, was das Bundesgericht als Rechtsfrage prüfen könne. Nach Treu und Glauben sei die Vereinbarung nicht dahingehend zu verstehen, dass eine Sicherstellung vereinbart worden sei, sondern vielmehr direkt die Zahlung des entsprechenden Betrages. Der Einwand ist unbegründet. Das Bundesgericht kann zwar die Auslegung nach dem Vertrauensprinzip als Rechtsfrage überprüfen, es bleibt aber grundsätzlich (vgl. zu den Ausnahmen Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG) an die tatsächlichen Feststellungen der Vorinstanz gebunden (<ref-ruling> E. 2.2.1 S. 67; <ref-ruling> E. 4 S. 28, 268 E. 2.3.2 S. 274 f., 626 E. 3.1 S. 632). Darauf, dass der Beschwerdegegner die Vereinbarung nach Treu und Glauben als Pflicht zur Zahlung und nicht zur Sicherstellung hätte verstehen müssen, darf sich der Beschwerdeführer nur berufen, sofern er sie selbst tatsächlich so, und nicht wie der Beschwerdegegner im Sinne einer Sicherstellung, verstanden hat (vgl. <ref-ruling> E. 3a S. 19; KRAMER, in: Berner Kommentar, 1986, N. 122 ff. und N. 146 zu <ref-law>). Dass er im kantonalen Verfahren Entsprechendes prozesskonform behauptet hätte, legt der Beschwerdeführer nicht dar und ergibt sich auch nicht aus dem angefochtenen Entscheid, der vielmehr festhält, der Beschwerdeführer stelle die rechtliche Beurteilung dieser Klausel beziehungsweise den daraus abgeleiteten Sicherheitsanspruch als solchen nicht in Frage. Unter diesen Umständen verletzte die Vorinstanz kein Bundesrecht, wenn sie die Klausel in diesem Sinne interpretierte (<ref-law>).
2. Der Beschwerdeführer ist sodann der Auffassung, der Beschwerdegegner habe mit Einleitung der Betreibung auf Sicherstellung seine Pflicht, während der Dauer des Agreements keine feindseligen Handlungen und keine gerichtlichen Verfahren einzuleiten, verletzt. Widerhandlung habe das Dahinfallen des Vertrages zur Folge.
2.1 Mit den getroffenen Vereinbarungen haben die Parteien zusätzlich zum bereits bestehenden Verwaltungs- und Beratungsauftrag ein direktes Schuldverhältnis zwischen den Parteien begründet. Ziel der Vereinbarungen war es überdies, ein gerichtliches Vorgehen gegen die Gesellschaften des Beschwerdeführers und diesen selbst zu vermeiden. Zu diesem Zweck gab der Beschwerdeführer eine förmliche Schuldanerkennung ab und verpflichtete sich, dem Beschwerdegegner Sicherheiten zu leisten. Dadurch wurde die Position des Beschwerdegegners verstärkt, indem eine spätere Vollstreckung des Anspruchs durch die Schuldanerkennung erleichtert und die Befriedigung allfälliger Ansprüche durch die Sicherheiten gewährleistet wurde.
2.2 Diese Verstärkung der Position des Beschwerdegegners kann nach Treu und Glauben einzig als "Gegenleistung" für Risiken verstanden werden, welche der Beschwerdegegner mit dem Zuwarten mit der Geltendmachung allfälliger Ansprüche einging. Dieser Ausgleich bildet die Voraussetzung für das Zuwarten des Beschwerdegegners. Fordert er die Einhaltung der Bedingungen, unter denen er sich zum Stillhalten verpflichtet, gerichtlich ein, verstösst er nicht gegen das Stillhalteabkommen. Dem Beschwerdeführer musste vielmehr bewusst sein, dass sich die Stillhalteverpflichtung nur auf das Eintreiben der anerkannten Forderung und auf das Vorgehen gegenüber den zur Firmengruppe des Beschwerdeführers gehörenden Gesellschaften bezog, nicht aber auf die Sicherstellungsabreden, welche die Modalitäten mitbestimmen, unter denen der Beschwerdegegner bereit war, vorerst mit der Durchsetzung allfälliger Ansprüche zuzuwarten. Die Auslegung des Beschwerdeführers würde dazu führen, dass der Beschwerdegegner ohne Sicherheiten mit der Vollstreckung seiner Forderung zuwarten müsste. Dass der Beschwerdegegner das Stillhalteabkommen unter solchen Bedingungen abgeschlossen hätte, durfte der Beschwerdeführer nicht in guten Treuen annehmen. Eine derartige Auslegung lässt sich mit dem Vertrauensprinzip nicht vereinbaren. Die Geltendmachung der als "Gegenleistung" für das Stillhalten vereinbarten Ansprüche verstösst mithin nicht gegen das Stillhalteabkommen. Der Beschwerdegegner ist vielmehr berechtigt, die Einhaltung der vereinbarten Modalitäten zu verlangen und gerichtlich durchzusetzen.
3. Der Beschwerdeführer macht geltend, er sei bei Abgabe der Schuldanerkennung über die Höhe der Schuld getäuscht worden, jedenfalls habe er sich in einem Grundlagenirrtum befunden. Folglich resultiere aus dem entsprechenden Vertrag weder eine Zahlungs- noch eine Sicherstellungspflicht. Zudem habe die zu sichernde Forderung nicht existiert, weshalb auch keine Pflicht zur Sicherstellung der entsprechenden Forderung bestehen könne.
3.1 Die Vorinstanz ging wie das Bezirksgericht davon aus, Forderungen würden naturgemäss gerade deswegen sichergestellt, weil sie sich in irgendeiner Weise noch in der Schwebe befänden oder strittig seien. Daher entfalle die Pflicht zur Sicherstellung nur, wenn die zu sichernde Forderung offensichtlich nicht bestehe. Dasselbe gilt nach Auffassung der Vorinstanz auch für eine allfällige Täuschung oder einen Irrtum mit Bezug auf die Hauptschuld. Die Vorinstanz erachtete die Vorbringen des Beschwerdeführers als unwahrscheinlich. Sie verzichtete indessen auf die Durchführung eines Beweisverfahrens und liess offen, ob die betreffenden Ausführungen überhaupt zulässig waren. Mangels Offensichtlichkeit erachtete sie den Einwand des Nichtbestands der zu sichernden Forderung beziehungsweise einer diesbezüglichen Täuschung oder eines Irrtums für unerheblich. Der Beschwerdeführer ist demgegenüber der Auffassung, es bestehe keine Grundlage dafür, die erwähnten Einwände nur zuzulassen, wenn sie offensichtlich zutreffen würden. Vielmehr hätte von Bundesrechts wegen ein Beweisverfahren durchgeführt werden müssen.
3.2 Das Verfahren der Betreibung auf Sicherstellung verläuft grundsätzlich gleich wie jenes auf Geldzahlung (<ref-law>; AMONN/WALTHER, Grundriss des Schuldbetreibungs- und Konkursrechts, 8. Aufl., § 7 Rz. 9 S. 73; FRITZSCHE/WALDER, Schuldbetreibung und Konkurs nach schweizerischem Recht, Bd. 1, 1984, § 10 Rz. 25 ff. S. 98 f.), wobei für die Fortsetzung der Betreibung allerdings nur die Spezialexekution in Frage kommt (<ref-law>). Die Betreibung wird allein aufgrund der Behauptungen des Gläubigers angehoben, weshalb der Schuldner sie mit dem Rechtsvorschlag ohne Weiteres zum Stillstand bringen kann (AMONN/WALTHER, a.a.O., § 18 Rz. 1 S. 132). Die provisorische Rechtsöffnung wird aufgrund der Schuldanerkennung erteilt, da diese mit einer gewissen Wahrscheinlichkeit für den Bestand der Forderung spricht. Materiell wird über die Forderung aber nicht abschliessend geurteilt (AMONN/WALTHER, a.a.O., § 19 Rz. 65 ff. S. 154). Wurde die provisorische Rechtsöffnung erteilt, gibt die Aberkennungsklage dem Schuldner die Möglichkeit, die materielle Berechtigung der in Betreibung gesetzten Forderung beurteilen zu lassen (AMONN/WALTHER, a.a.O., § 19 Rz. 93 S. 161). Der Schuldner kann alles vorbringen, was gegen die in Betreibung gesetzte Forderung (hier auf Sicherstellung) spricht (AMONN/WALTHER, a.a.O., § 19 Rz. 101 S. 163). Aus der Natur der Betreibung auf Sicherstellung lässt sich diesbezüglich keine Einschränkung ableiten. Alle Einwände, die gegen die Pflicht zur Sicherstellung sprechen, sind grundsätzlich umfassend zu prüfen.
3.3 Der Beschwerdeführer behauptet, die sicherzustellende Forderung bestehe nicht. Mit Blick darauf bestreitet er die Sicherstellungspflicht. Indessen können auch bloss mögliche oder zukünftige Forderungen sichergestellt werden. Erst wenn feststeht, dass die Forderung, zu deren Sicherstellung sich ein Schuldner verpflichtet hat, nicht (oder nicht mehr) besteht und auch in Zukunft nicht entstehen kann, entfällt das Rechtsschutzinteresse an der Sicherstellung. Im Streitfall kann sich der Schuldner zwar seiner Pflicht zur Sicherstellung entschlagen, indem er gerichtlich feststellen lässt, dass die zu sichernde Schuld nicht besteht, aber nicht in einem Verfahren, das ausschliesslich die Sicherstellungspflicht betrifft, denn das Urteil über die anbegehrte Sicherstellung erwächst bezüglich Vorfragen (hier den Bestand der zu sichernden Forderung) nicht in Rechtskraft (<ref-ruling> E. 4a S. 478 mit Hinweis). Solange über den Bestand der Forderung nicht rechtskräftig entschieden ist, bleibt aber der Anspruch auf Sicherstellung bestehen. Ist jedoch offensichtlich, dass keine zu sichernde Forderung existiert, erwiese sich die anbegehrte Sicherstellung als schikanöse, nutzlose Rechtsausübung, die nach <ref-law> keinen Rechtsschutz beanspruchen kann (<ref-ruling> E. 2b S. 203 mit Hinweis). Im Ergebnis hat die Vorinstanz daher zu Recht ihre Prüfung darauf beschränkt, ob die sicherzustellende Forderung offensichtlich nicht besteht.
3.4 Der Beschwerdeführer macht weiter geltend, er habe sich über die Höhe der sicherzustellenden Forderung geirrt, beziehungsweise habe ihn der Beschwerdegegner darüber getäuscht. Ob dies zutrifft, liess die Vorinstanz offen. Auch diesbezüglich prüfte sie nur, ob die Voraussetzungen der Anfechtung wegen Irrtums oder Täuschung offensichtlich gegeben seien.
3.4.1 Ein Vertrag ist für denjenigen unverbindlich, der sich beim Abschluss in einem wesentlichen Irrtum befunden hat (<ref-law>). Ein wesentlicher Irrtum ist der so genannte Grundlagenirrtum. Auf einen solchen kann sich die Partei berufen, die sich über einen bestimmten Sachverhalt geirrt hat, der für sie notwendige Vertragsgrundlage war, und den sie zudem nach Treu und Glauben im Geschäftsverkehr als eine notwendige Grundlage des Vertrages betrachten durfte (<ref-law>; <ref-ruling> E. 4.1 S. 165 f.; <ref-ruling> E. 2 S. 202). Neben der subjektiven Wesentlichkeit ist damit erforderlich, dass der zu Grunde gelegte Sachverhalt auch objektiv, vom Standpunkt oder nach den Anforderungen des loyalen Geschäftsverkehrs als notwendige Grundlage des Vertrages erscheint (<ref-ruling> E. 3b S. 62; Urteil des Bundesgerichts 4C.219/2004 vom 25. Oktober 2004 E. 3.3.1 mit Hinweisen).
3.4.2 Wenn ein Vertragschliessender durch absichtliche Täuschung seitens des anderen zum Vertragsabschluss verleitet worden ist, so ist der Vertrag für den Getäuschten gemäss <ref-law> auch dann nicht verbindlich, wenn der erregte Irrtum kein wesentlicher war (<ref-ruling> E. 4.1 S. 165). Der Tatbestand der absichtlichen Täuschung setzt einerseits voraus, dass der Vertragspartner - durch positives Verhalten oder durch Schweigen (vgl. <ref-ruling> E. 4.1 S. 166; <ref-ruling> E. 3a S. 434) - absichtlich getäuscht wurde; für die Täuschungsabsicht genügt Eventualvorsatz (BGE 53 II 143 E. 1a S. 150). Andererseits ist erforderlich, dass der Vertragspartner durch die Täuschung zum Vertragsabschluss verleitet wurde. Der durch die Täuschung hervorgerufene Irrtum muss somit kausal für den Abschluss des Vertrages gewesen sein (<ref-ruling> E. 4.1 S. 166; <ref-ruling> E. 4b S. 352).
3.5 Dem Beschwerdeführer ging es primär darum, seine Gesellschaften vor Vollstreckungsmassnahmen zu schonen. Dafür unterzeichnete er die Schuldanerkennung und erklärte sich als Ausgleich für das Risiko, welches der Beschwerdegegner durch das Zuwarten mit der Durchsetzung seiner Forderungen einging (vgl. E. 2.2 hiervor ), bereit, die Zahlung der anerkannten Schuld abzusichern. Ursprünglich sollte das Haus in A._ als Pfandsicherheit dienen. Vor dem Hintergrund des geplanten Verkaufes vereinbarten die Parteien mit der nun streitigen Vertragsklausel, zur Sicherung solle stattdessen bis zu einem bestimmten Betrag der Verkaufserlös dienen. Die Vereinbarung betrifft mithin lediglich die Modalität der Sicherstellung, da der Beschwerdegegner im Ergebnis an der hinterlegten Summe ein einem Pfandrecht analoges Recht erhält (GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, 1999, Bd. 1, N. 31 zu <ref-law>). Die Sicherstellung sollte offensichtlich verhindern, dass das zuvor in der Liegenschaft gebundene Vollstreckungssubstrat dem Beschwerdegegner entzogen wird, während ihm der Zugriff darauf zufolge des Stillhalteabkommens versagt ist.
3.5.1 Mit Blick auf diesen Zweck der Sicherstellung wird ohne Weiteres klar, dass mit der Sicherstellung nicht zugewartet werden kann, bis rechtskräftig entschieden ist, ob der Beschwerdeführer bei Abgabe der Schuldanerkennung getäuscht wurde oder sich in einem wesentlichen Irrtum befand. Der Beschwerdeführer musste nach Treu und Glauben erkennen, dass die Sicherstellung als "Gegenleistung" für das Stillhalten selbst bei Zweifeln oder Streit über Bestand oder Höhe der Hauptschuld zu leisten war. Anders lässt sich nicht verhindern, dass dem Beschwerdegegner aus dem Zuwarten mit der Geltendmachung seiner Ansprüche ein Nachteil erwächst, falls seine Forderung besteht. Selbst wenn der Beschwerdegegner die Schuldanerkennung durch eine Täuschung erlangt haben sollte, hätte er gestützt auf die Anerkennung Massnahmen zur Vollstreckung der anerkannten Schuld einleiten können. Auch in diesem Fall profitierte der Beschwerdeführer vom Stillhalteabkommen. Er hat daher als Gegenleistung die Forderung zu sichern, bis über die Frage des Irrtums oder der Täuschung entschieden ist.
3.5.2 Der Beschwerdeführer kann mithin die Leistung der Sicherheit nicht wegen Irrtum oder Täuschung bezüglich der Hauptschuld verweigern. Nach dem Sinn der Vereinbarung ist vielmehr die Sicherheitsleistung vorab zu erbringen und bleibt so lange geschuldet, bis die diesbezügliche Auseinandersetzung rechtskräftig entschieden ist. Sollte sich dabei herausstellen, dass die anerkannte Schuld nicht besteht oder die Pflicht zu Sicherstellung infolge Irrtums oder Täuschung unverbindlich ist, könnte der Beschwerdeführer den Sicherungsbetrag herausverlangen und allenfalls Schadenersatz geltend machen. Indem er diese Fragen vorab geklärt haben will, versucht er, vom Stillhalteabkommen zu profitieren, ohne die als "Gegenleistung" versprochene Sicherheit zu leisten. Dies ist nicht zulässig.
3.6 Im Ergebnis ist daher nicht zu beanstanden, dass die Vorinstanz nur geprüft hat, ob offensichtlich ein Irrtum oder eine Täuschung bezüglich der Höhe der anerkannten Forderung vorlag, denn in diesem Fall bestünde wiederum kein schützenswertes Interesse an der Sicherstellung (<ref-law>). Da dies nicht der Fall war, hat die Vorinstanz die Aberkennungsklage zu Recht abgewiesen. Der Streit über die materielle Berechtigung der anerkannten Forderung oder die Rechtsverbindlichkeit der Schuldanerkennung ist unter den gegeben Umständen nicht im Verfahren über die Sicherstellung auszutragen.
4. Nach dem Gesagten erweist sich die Beschwerde als unbegründet, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 20'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 22'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. September 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Luczak