Sachverhalt:
A.
Der 1963 geborene A._ war bei der AXA Stiftung Berufliche Vorsoge (nachstehend: AXA) berufsvorsorgeversichert, als er von seinem behandelnden Arzt, Dr. med. B._ mit Wirkung ab 28. November 2016 zu 100 % arbeitsunfähig geschrieben wurde. Aufgrund dieser Arbeitsunfähigkeit gewährte ihm die AXA ab 28. Februar 2017 Beitragsbefreiung. Mit Vorbescheid vom 6. September 2017 stellte die IV-Stelle des Kantons Zug eine Ablehnung des bei der Invalidenversicherung gestellten Leistungsgesuchs in Aussicht. Daraufhin teilte die AXA A._ am 3. Oktober 2017 mit, dass sie die Beitragsbefreiung auf den Zeitpunkt des Vorbescheids hin beende. Mit Verfügung vom 26. Oktober 2017 verneinte die IV-Stelle des Kantons Zug einen Anspruch auf Leistungen der Invalidenversicherung, da kein invalidisierender Gesundheitsschaden vorliege. Daraufhin informierte die AXA A._ darüber, dass sie die Beitragsbefreiung auch für die Zeit vom 6. September bis 26. Oktober 2017 anerkenne; ab dem 27. Oktober 2017 bestehe hingegen kein solcher Anspruch mehr.
B.
Am 25. Februar 2019 erhob A._ Klage gegen die AXA mit dem Rechtsbegehren, ihm seien die überobligatorischen Leistungen, insbesondere die Beitragsbefreiung über den 6. September 2017 hinaus, zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich stellte mit Entscheid vom 22. April 2020 fest, dass die AXA den Anspruch auf Beitragsbefreiung bis 26. Oktober 2017 anerkannt habe; da ab 27. Oktober 2017 kein solcher Anspruch mehr bestehe, wies es die Klage ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, ihm seien unter Aufhebung des kantonalen Gerichtsentscheides die überobligatorischen Leistungen, insbesondere die Beitragsbefreiung über den 6. September 2017 hinaus, zuzusprechen.
Während die AXA auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
In seiner Eingabe vom 17. September 2020 hält A._ an seinen Anträgen fest.

Erwägungen:
1.
1.1. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind grundsätzlich gegeben (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
1.2. Das Bundesgericht prüft das Bundesrecht von Amtes wegen (<ref-law>; <ref-ruling> E. 2.3 S. 23 f.) und mit uneingeschränkter (voller) Kognition (<ref-law>; <ref-ruling> E. 2 S. 236). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.
Gemäss unbestrittener vorinstanzlicher Feststellung hat die Beschwerdegegnerin den Anspruch des Beschwerdeführers auf Beitragsbefreiung bis zum 26. Oktober 2017 anerkannt. Soweit in der Beschwerde eine Zusprache der Beitragsbefreiung bereits ab 6. September 2017 beantragt wird, ist auf die Beschwerde demnach nicht einzutreten. Streitig und zu prüfen ist somit, ob das kantonale Gericht Bundesrecht verletzt hat, als es einen Anspruch auf Beitragsbefreiung ab dem 27. Oktober 2017 verneint hat.
3.
3.1. Im Streit liegen Ansprüche aus überobligatorischer beruflicher Vorsorge. Die Vorsorgeeinrichtungen sind im Rahmen des Gesetzes und unter Berücksichtigung der verfassungsmässigen Schranken (wie Rechtsgleichheit, Willkürverbot und Verhältnismässigkeit; <ref-ruling> E. 2.1 S. 350) in der Gestaltung ihrer Leistungen im weitergehenden Bereich grundsätzlich frei (Art. 49 Abs. 1 Satz 1 BVG in Verbindung mit Art. 6 und Art. 49 Abs. 2 BVG).
3.2. Reglemente privatrechtlicher Vorsorgeeinrichtungen sind - wo sich in Bezug auf die zur Streitigkeit Anlass gebenden Vorschriften kein übereinstimmender wirklicher Parteiwille feststellen lässt - grundsätzlich nach dem Vertrauensprinzip auszulegen. Ausgehend vom Wortlaut und unter Berücksichtigung des Zusammenhangs, in dem eine Bestimmung innerhalb des Reglements als Ganzes steht, gilt es, den objektiven Vertragswillen zu ermitteln, den die Parteien mutmasslich gehabt haben. Dabei hat das Gericht zu berücksichtigen, was sachgerecht ist, weil nicht angenommen werden kann, dass die Parteien eine unvernünftige Lösung gewollt haben. Das Ergebnis der Auslegung nach dem Vertrauensprinzip und in Anwendung der Unklarheits- und Ungewöhnlichkeitsregel kann das Bundesgericht als Rechtsfrage frei überprüfen (<ref-ruling> E. 2.2 S. 378 mit Hinweisen).
4.
4.1. Gemäss Ziffer 20.2 des hier anwendbaren Vorsorgereglements für die BVG-Basisvorsoge setzt ein Anspruch auf Beitragsbefreiung voraus, dass die versicherte Person zu mindestens 40 % arbeitsunfähig ist. Der Anspruch fällt nach Ziff. 21.3 des Reglements weg, wenn der Grad der Arbeitsunfähigkeit unter 40 % sinkt, die Invalidenversicherung die Leistungspflicht ablehnt, ihre Rentenleistungen einstellt oder die versicherte Person das bei Eintritt der Arbeitsunfähigkeit im Vorsorgeplan definierte Pensionsalter erreicht oder stirbt. Gestützt auf diese Bestimmungen erwog die Vorinstanz, aufgrund der mit Verfügung vom 26. Oktober 2017 erfolgten Leistungsablehnung durch die IV-Stelle des Kantons Zug bestehe ab 27. Oktober 2017 kein Anspruch mehr, womit offenbleiben könne, ob der Kläger über dieses Datum hinaus zu mindestens 40 % arbeitsunfähig im Sinne des Reglements gewesen sei.
4.2. Im kantonalen Entscheid wird die reglementarische Regelung des Anspruchs auf Beitragsbefreiung als "grosszügig" bezeichnet. Auch wenn eine solche Qualifikation für die Beurteilung der streitigen Belange als entbehrlich erscheint, so ist sie doch entgegen den Ausführungen des Beschwerdeführers kein hinreichendes Indiz dafür, dass sich das kantonale Gericht beim angefochtenen Entscheid von dieser Qualifikation und damit von sachfremden Motiven hätte leiten lassen.
4.3. Der Beschwerdeführer bringt weiter vor, das in Ziff. 21.3 des Reglements vorgesehene Dahinfallen des Anspruchs auf Beitragsbefreiung im Zeitpunkt der Leistungsablehnung durch die Invalidenversicherung sei nicht sachgerecht, weshalb dem Reglement in diesem Punkt seine Geltung abzusprechen sei. In der Tat darf eine Reglementsbestimmung nicht so ausgelegt werden, dass sie zu einer unvernünftigen Lösung führt, kann doch nicht angenommen werden, die Parteien hätten eine solche vereinbaren wollen (vgl. E. 3.2 hievor). Es trifft zwar zu, dass dem Zeitpunkt des Erlasses der Verfügung ein gewisses aleatorisches Element innewohnt. Trotzdem erscheint die im Vorsorgereglement getroffene Lösung nicht als unvernünftig und damit nicht als bundesrechtswidrig: Die Beitragsbefreiung steht in einem engen Konnex mit den Anspruch auf Invalidenleistungen. Da sich das invalidenversicherungsrechtliche Verfahren unter Umständen in die Länge ziehen kann, liegt die Regelung, wonach die Beitragsbefreiung bereits vor Festsetzung der Invalidenleistungen gewährt wird, offenkundig im Interesse der Versicherten.Wie das kantonale Gericht zutreffend erwogen hat und vom Beschwerdeführer nicht substanziiert bestritten wird, steht mit der Leistungsablehnung durch die Invalidenversicherung fest, dass auch kein Anspruch auf Invalidenleistungen gemäss Ziff. 20.2 des Vorsorgereglements besteht. Mit der leistungsablehnenden Verfügung der IV-Stelle entfällt somit auch der Grund für eine Beitragsbefreiung.Eine Befristung des Anspruchs auf Beitragsbefreiung auf den Zeitpunkt der leistungsablehnenden Verfügung der Invalidenversicherung erscheint damit als folgerichtig und verstösst nicht gegen Bundesrecht. Nicht geprüft zu werden braucht vorliegend, ob auch ein rückwirkender gänzlicher Wegfall der Beitragsbefreiung bei Vorliegen einer leistungsablehnenden Verfügung der Invalidenversicherung vor Bundesrecht standhalten würde.
4.4. Auch soweit der Beschwerdeführer geltend macht, im Schreiben der Beschwerdeführerin vom 18. Januar 2017 sei ihm individuell-konkret ein Anspruch auf Beitragsbefreiung einzig abhängig vom Grad der Arbeitsunfähigkeit zugesichert worden, kann ihm nicht gefolgt werden. Wie das kantonale Gericht zutreffend erwogen hat, wurde ihm mit besagtem Schreiben lediglich eine Prüfung des Anspruchs aufgrund der geltend gemachten Arbeitsunfähigkeit in Aussicht gestellt und er wurde um Erteilung einer Vollmacht gebeten, damit die Vorsorgeeinrichtung bei den behandelnden Ärzten und gegebenenfalls auch bei anderen Sozialversicherungsträgern verschiedene Unterlagen, wie etwa Arztberichte, direkt einholen kann. Demgegenüber wurden keine Ausführungen dazu gemacht, unter welchen Bedingungen ein allfälliger Anspruch wieder endet. Damit braucht nicht näher geprüft zu werden, welcher Stellenwert einer allfälligen reglementswidrigen Zusicherung zukommen würde.
4.5. Demnach hat das kantonale Gericht kein Bundesrecht verletzt, als es einen Anspruch auf Beitragsbefreiung für die Zeit ab 27. Oktober 2017 verneint und die Klage abgewiesen hat. Die Beschwerde ist somit abzuweisen.
5.
Entsprechend dem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. März 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Nabold