Sachverhalt: A. Die A._, geb. 1972, seit 1. Februar 2008 ausgerichtete ganze Invalidenrente wurde mit Verfügung der IV-Stelle des Kantons Zürich vom 13. Dezember 2013 per Ende Januar 2014 eingestellt. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich teilweise gut und sprach dem Versicherten mit Wirkung ab 1. Februar 2014 eine Viertelsrente zu (Entscheid vom 29. September 2015). Nachdem das in der Folge angerufene Bundesgericht die Sache an die Vorinstanz zurückgewiesen hatte (Urteil 9C_868/2015 vom 22. Dezember 2015), entschied diese am 23. Februar 2016 abermals, A._ stehe ab 1. Februar 2014 eine Viertelsrente zu. Auf die hierauf eingelegte Beschwerde hin hob das Bundesgericht den angefochtenen Entscheid auf und wies das Sozialversicherungsgericht an, eine psychiatrische Begutachtung zu veranlassen und hernach neu über das Rechtsmittel zu befinden (Urteil 9C_208/2016 vom 17. Juni 2016). Gestützt auf das im Anschluss bei Dr. med. B._, Psychiatrie und Psychotherapie FMH, eingeholte Gutachten vom 7. September 2017 kam das Sozialversicherungsgericht zum Schluss, die gegen die Rentenaufhebungsverfügung vom 13. Dezember 2013 gerichtete Beschwerde sei abzuweisen (Entscheid vom 5. Juni 2018). Nach Durchführung des Vorbescheidverfahrens verpflichtete die IV-Stelle A._ mit Verfügung vom 3. April 2019, im Zeitraum vom 1. Februar 2014 bis 31. Oktober 2018 zu Unrecht ausgerichtete Rentenleistungen im Betrag von Fr. 105'989.- zurückzuzahlen. B. Die dagegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. Mai 2020 ab. C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, der angefochtene Entscheid sei mit der Feststellung aufzuheben, dass der Rückforderungsanspruch der IV-Stelle verwirkt sei; eventualiter sei die Rückforderungsverfügung der IV-Stelle vom 3. April 2019 insoweit aufzuheben, als eine Rückforderung über den Zeitraum von November 2017 bis Oktober 2018 hinaus verfügt worden sei, und der Rückforderungsbetrag auf Fr. 22'320.- zu reduzieren; subeventualiter sei die Angelegenheit zu neuem Entscheid an die Vorinstanz zurückzuweisen. Ferner sei der Beschwerde die aufschiebende Wirkung zu gewähren.