Sachverhalt:
Mit Entscheid vom 27. August 2019 erteilte das Kreisgericht See-Gaster der B._ AG in der gegen A._ eingeleitete n Betreibung auf Grundpfandverwertung im Betrag von Fr. 4'412'126.42 nebst Zins für die Forderung und das Pfandrecht provisorische Rechtsöffnung.
Die hiergegen erhobene Beschwerde wies das Kantonsgericht St. Gallen mit Entscheid vom 19. Mai 2020 ab.
Dagegen hat A._ am 26. Juni 2020 beim Bundesgericht eine Beschwerde eingereicht. Ferner verlangt er die unentgeltliche Rechtspflege und die aufschiebende Wirkung, gegen deren Erteilung die Gläubigerbank mit Stellungnahme vom 9. Juli 2020 opponiert; diesbezüglich hat A._ am 24. Juli 2020 eine Replik eingereicht und die Wichtigkeit der aufschiebenden Wirkung betont.

Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Rechtsöffnungsentscheid mit Fr. 30'000.-- übersteigendem Streitwert steht die Beschwerde in Zivilsachen offen (Art. 72 Abs. 2 lit. a, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
2.
Die Beschwerde hat eine Begründung zu enthalten, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>), was eine sachbezogene Auseinandersetzung mit de ssen Erwägungen erfordert (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.4 S. 368).
3.
Bereits vor den kantonalen Instanzen hatte der Beschwerdeführer eine teilweise Verrechnung mit angeblichen Schadenersatzforderungen behauptet. Das Kreisgericht erachtete die behaupteten Forderungen als nicht glaubhaft gemacht und das Kantonsgericht erwog, einzig damit, dass die Gegenforderungen "auf der festen Überzeugung" des Beschwerdeführers beruhten, seien keine objektiven Anhaltspunkte dargetan.
Diesbezüglich verweist der Beschwerdeführer auf Unterlagen, welche er dem Kantonsgericht vorgelegt habe und welche die Gegenforderungen angeblich dokumentieren sollen. Indes hat das Kantonsgericht diese mit Verweis auf das Novenverbot von <ref-law> nicht berücksichtigt und der Beschwerdeführer müsste in diesem Zusammenhang eine Rechtsverletzung darlegen (vgl. E. 2), was er nicht tut. Mithin hat es, wie bereits das Kantonsgericht ausgeführt hat, bei der Tatsachenlage zu bleiben, wie sie erstinstanzlich bestand, und vor deren Hintergrund zeigt der Beschwerdeführer nicht ansatzweise eine falsche Rechtsanwendung auf.
4.
Im Zusammenhang mit der Fälligkeit hat bereits das Kantonsgericht dem Beschwerdeführer vorgehalten, dass er sich nicht mit den diesbezüglichen Ausführungen des Kreisgerichts auseinandersetze (wonach gemäss vertraglicher Vereinbarung mit der Kündigung der Darlehen automatisch auch die Grundpfandforderung gekündigt sei); im Übrigen hat es diese Möglichkeit der Parteivereinbarung mit eigenen Erwägungen bestätigt. Vor Bundesgericht erfolgt entgegen den in E. 2 dargelegten Begründungsanforderungen wiederum keine Auseinandersetzung mit diesen Erwägungen, sondern erneut die blosse Behauptung, die Gläubigerbank habe den Schuldbrief nicht gekündigt.
5.
Nach dem Gesagten erweist sich die Beschwerde als offensichtlich nicht hinreichend begründet und es ist auf sie im vereinfachten Verfahren nach <ref-law> nicht einzutreten.
6.
Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
7.
Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist.
8.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Soweit eine Partei nicht einen Rechtsanwalt mandatiert, wird ihr nach bundesgerichtlicher Praxis nur in Ausnahmefällen eine Parteientschädigung zugesprochen (dazu im Einzelnen <ref-ruling> E. 5 S. 304; Urteil 2C_807/2016 vom 17. Juli 2017 E. 6.3). Vor diesem Hintergrund ist die Stellungnahme der Beschwerdegegnerin, zumal sie sich auf die Frage der aufschiebenden Wirkung beschränkt, nicht entschädigungspflichtig.

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen schriftlich mitgeteilt.
Lausanne, 12. August 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied : Der Gerichtsschreiber:
von Werdt Möckli