Sachverhalt: A. Y._ (Beschwerdegegner) brachte sein erhebliches Vermögen in zwei Stiftungen und einen Trust ein. Diese Einrichtungen betrauten ihrerseits anfangs 1999 eine Aktiengesellschaft, welche der von X._ (Beschwerdeführer) gegründeten X._-Gruppe angehörte, mit der Verwaltung diverser Accounts, während für andere Konti nur eine Beratung bezüglich der Anlagestrategie erfolgen sollte. Nachdem der Beschwerdegegner Mitte November 2002 erfahren hatte, dass auf dem Konto einer der Stiftungen wesentlich weniger Vermögen lag als seiner Meinung nach hätte vorhanden sein müssen (statt rund Fr. 22 Millionen nur noch knapp Fr. 6.5 Millionen), gelangte er an den Beschwerdeführer. Dieser unterzeichnete am 20. November 2002 ein erstes als "Acknowledgment of debt" betiteltes Dokument, in welchem er sich verpflichtete, Fr. 15'620'000.-- an den Beschwerdegegner zu bezahlen und für die Zahlung Pfandsicherheiten zu stellen, unter anderem (soweit notwendig) auch sein Haus in A._. Gleichzeitig schlossen die Parteien eine Zusatzvereinbarung, worin der Beschwerdegegner erklärte, auf rechtliche Schritte zu verzichten, die dem Ruf des Beschwerdeführers oder seiner Gesellschaften schaden könnten. Der Beschwerdegegner war damit einverstanden, dass der Beschwerdeführer den anerkannten Betrag nicht sofort bezahlte, verlangte aber vom Beschwerdeführer, die Schuld durch ein Grundpfand auf dem Haus des Beschwerdeführers sicherzustellen. B. In der Folge bezahlte der Beschwerdeführer einen Teilbetrag der anerkannten Schuld. Die Bestellung des Grundpfandes verzögerte sich. Die Parteien schlossen eine Vereinbarung über die Abzahlung der Schuld, bei deren Abwicklung es ebenso wie bei der Errichtung des Schuldbriefs zu Problemen kam. Nachdem der Beschwerdegegner eine Betreibung eingeleitet und wieder zurückgezogen hatte, unterzeichneten die Parteien am 2. November 2003 ein mit "Agreement" überschriebenes Dokument, in welchem zunächst festgehalten wird, es ersetze die am 20. November 2002 unterzeichnete Schuldanerkennung. Nach Abzug der erfolgten Zahlungen verblieben nach diesem Agreement Fr. 11'398'575.--, welche der Beschwerdeführer binnen zweier Jahre (mit der Möglichkeit der Verlängerung um ein Jahr) zurückzuzahlen versprach, während der Beschwerdegegner für diese Zeitspanne auf das Ergreifen rechtlicher Schritte verzichtete. Eine während der Stillhaltefrist angestrengte Klage zur Eintreibung der Schuld sollte zum Dahinfallen der Vereinbarung führen. Neben anderen Abreden zur Sicherung des Beschwerdegegners wurde festgehalten: "X._ has the intention to sell his house in A._ and guarantees Y._ that at least CHF 3 Million will be paid out to Y._ if the sales amount permits this." Am 10. Mai 2004 verkaufte der Beschwerdeführer seine Liegenschaft in A._ zu einem Preis von Fr. 8'250'000.--. Eine Zahlung an den Beschwerdegegner leistete er trotz entsprechender Aufforderung nicht. C. Mit Zahlungsbefehl vom 21. Oktober 2004 leitete der Beschwerdegegner eine Betreibung auf Sicherheitsleistung ein und erhielt für den Betrag von Fr. 3'000'000.-- provisorische Rechtsöffnung. Die vom Beschwerdeführer angestrengte Aberkennungsklage wies das Bezirksgericht Meilen ab. Gleich entschied mit Urteil vom 2. März 2010 das Obergericht des Kantons Zürich. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, es sei festzustellen, dass die in Betreibung gesetzte Pflicht zur Sicherstellung nicht bestehe, eventuell sei die Streitsache zur Neubeurteilung an das Obergericht zurückzuweisen. Sein Gesuch um Gewährung der aufschiebenden Wirkung wies das Bundesgericht am 6. Mai 2010 ab. Der Beschwerdegegner schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten ist, während das Obergericht auf Vernehmlassung verzichtet. Das Bundesgericht hat die Angelegenheit am 28. September 2010 an einer öffentlichen Sitzung beraten.