Sachverhalt: A. Mit Vertrag vom 10. März 2006 verkaufte X._ der Z._ AG das gesamte Aktienkapital der Y._ AG (60 Namenaktien mit Nennwert von je Fr. 1'000.--), die ihrerseits Mehrheitseigentümerin der S._ AG war (1'088 von 1'200 Namenaktien mit Nennwert von je Fr. 1'000.--). Nebst dem Aktienpaket verkaufte X._ der Z._ auch seine Guthaben bei der Y._ AG von Fr. 454'500.-- und bei der S._ AG von Fr. 400'000.--. Der Kaufpreis betrug insgesamt Fr. 3'500'000.-- und war wie folgt zu bezahlen: Fr. 1,5 Mio. "durch Banküberweisung nach Vertragsunterzeichnung und definitiver Freigabe der Aktien durch die Bank T._" sowie je Fr. 1 Mio. "durch Aktienhinterlage" per 31. Dezember 2006 bzw. per 31. Dezember 2007. In einer Zusatzvereinbarung vom gleichen Tag hielten die Parteien fest, der Kaufpreis für die Aktien der Y._ AG betrage Fr. 2'646'000.-- und bleibe selbst bei einem Jahresverlust 2005 bis zu Fr. 1,5 Mio. unverändert. Ein allfällig übersteigender Betrag führe zu einer Kaufpreiskonzession und müsse zur Hälfte vom Verkäufer getragen werden. In einer weiteren Vereinbarung vom 13. März 2006 verpflichtete sich die Z._, die jeweilige Restanz des Kaufpreises von Fr. 3,5 Mio. mit 5% zu verzinsen, wobei der Zins erstmals am 31. Mai 2006 und sodann jeweils auf Ende eines Quartals fällig werde. B. Mit Zahlungsbefehl Nr. 2 des Betreibungsamtes A._ vom 11. Mai 2007 leitete X._ gegen die Z._ die Betreibung ein für Fr. 1'349'469.35 nebst Zins zu 5% seit 31. Mai 2006 und für Fr. 1'000'000.-- nebst Zins zu 5% seit 1. Januar 2007. Mit Verfügung vom 13. März 2008 erteilte der Einzelrichter am Kantonsgericht Zug für die verlangten Beträge provisorische Rechtsöffnung. Dagegen wies das Obergericht des Kantons Zug das Rechtsöffnungsbegehren mit Urteil vom 2. Juli 2008 ab. C. Gegen das obergerichtliche Urteil hat X._ am 31. Juli 2008 Beschwerde in Zivilsachen erhoben mit den Begehren um dessen Aufhebung und Erteilung der Rechtsöffnung, eventualiter um Rückweisung der Sache an die Vorinstanz. Mit Präsidialverfügung vom 5. August 2008 wurde der Antrag auf aufschiebende Wirkung abgewiesen. In ihrer Vernehmlassung vom 17. September 2008 hat die Z._ auf Abweisung der Beschwerde geschlossen.