Sachverhalt:
A.
Der 1961 geborene A._ meldete sich im November 2018 unter Hinweis auf Herzprobleme bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich tätigte verschiedene medizinische Abklärungen. Mit Verfügung vom 4. Juni 2020 sprach sie A._ eine bis am 31. Dezember 2019 befristete ganze Invalidenrente zu.
B.
Die dagegen erhobene Beschwerde des A._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 11. Januar 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der angefochtene Entscheid und die Verfügung der Beschwerdegegnerin seien aufzuheben; die Angelegenheit sei an die Vorinstanz, eventualiter an die Beschwerdegegnerin zur Neubeurteilung unter Einholung eines interdisziplinären, eventualiter kardiologischen Fachgutachtens zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Doch prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 141 V 234 E. 1 mit Hinweisen).
1.3. Die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG stellen frei überprüfbare Rechtsfragen dar (BGE 146 V 240 E. 8.2 mit Hinweisen). Gleiches gilt für die Frage, ob den medizinischen Gutachten und Arztberichten im Lichte der rechtsprechungsgemässen Anforderungen Beweiswert zukommt (BGE 134 V 231 E. 5.1).
Die konkrete wie auch die antizipierte Beweiswürdigung betreffen hingegen Tatfragen, die das Bundesgericht lediglich auf offensichtliche Unrichtigkeit und Rechtsfehlerhaftigkeit hin überprüft (Art. 105 Abs. 2 BGG; BGE 146 V 139 E. 2.2; 144 V 111 E. 3).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie einen über den 31. Dezember 2019 hinausgehenden Rentenanspruch verneinte.
2.1. Näher in Frage gestellt und zu prüfen ist (E. 1.2 hiervor), ob die Vorinstanz beim Bestimmen der leidensbedingten Restarbeitsfähigkeit ohne weitere Abklärungen vorzunehmen auf den Bericht des RAD-Arztes Dr. med. B._ vom 6. November 2019 abstellen durfte, wonach in einer angepassten Tätigkeit von einer Arbeitsfähigkeit von 70 % ab September 2019 ausgegangen werden könne.
2.1.1. Das kantonale Gericht hat in Würdigung der Akten und in Auseinandersetzung mit den Parteivorbringen einlässlich dargelegt, dass sich der Bericht des Dr. med. B._ als umfassend und in jeglicher Hinsicht nachvollziehbar erweise, weshalb ihm Beweiswert beigemessen werden könne. Darauf ist zu verweisen.
2.1.2. Was der Beschwerdeführer dagegen vorbringt, verfängt offenkundig nicht. Insbesondere ist nicht zu beanstanden, wenn Dr. med. B._ in einer ersten Stellungnahme zu Handen der IV-Stelle am 1. April 2019 noch erklärt hatte, bei derzeitigem Aktenstand keine eigene Einschätzung der Arbeitsfähigkeit abgeben zu können nach Eingang der Abklärungsberichte der Kardiologie des Spitals C._ vom 20. Mai 2019, 25. September 2019 und 3. Oktober 2019 eine solche jedoch am 6. November 2019 vornahm. Dass diese Berichte keine abschliessende Einschätzung der Arbeitsfähigkeit enthielten, obwohl die IV-Stelle dies wiederholt erfragt hatte, ist in diesem Zusammenhang ohne Belang. Entscheidend ist, dass Dr. med. B._ seine Einschätzung in Kenntnis sämtlicher Akten erstattete, ohne sich dabei in einen offenen Widerspruch zu den Aussagen der Kardiologen des Spitals C._ zu setzen. Er griff deren Ausführungen gegenteils auf und gelangte gestützt darauf zu einer umfassenden, den gesamten Gesundheitsschaden berücksichtigenden Einschätzung der Restarbeitsfähigkeit des Beschwerdeführers.
2.1.3. Insgesamt bestehen keine auch nur geringen Zweifel an der Einschätzung von Dr. med. B._ (vgl. dazu BGE 139 V 225 E. 5.2; 135 V 465 E. 4.4. und E. 4.7), womit sich auch der vorinstanzliche Verzicht auf weitere Abklärungen als bundesrechtskonform erweist (sog. antizipierte Beweiswürdigung; BGE 136 I 229 E. 5.3 mit Hinweisen).
2.2. Die Vorinstanz ist alsdann in Durchführung eines Einkommensvergleichs zu einem rentenausschliessenden (Art. 28 Abs. 2 IVG) Invaliditätsgrad von 32 % gelangt. Diesbezüglich moniert der Beschwerdeführer einzig, dass auf dem tabellarisch bestimmten Invalideneinkommen kein Abzug gewährt wurde. Diese Vorbringen gehen nicht über eine letztinstanzlich unzulässige appellatorische Kritik hinaus (vgl. BGE 140 III 264 E. 2.3). Weiterungen dazu erübrigen sich (E. 1.2 hiervor).
3.
Die Beschwerde erweist sich insgesamt als offensichtlich unbegründet, womit sie mit summarischer Begründung im Verfahren nach Art. 109 BGG erledigt wird.
4.
Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG). Dem Gesuch um unentgeltliche Rechtspflege kann zufolge Aussichtslosigkeit der Beschwerde (Art. 64 Abs. 1 BGG; BGE 129 I 129 E. 2.3.1) nicht entsprochen werden.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, II. Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. April 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Grünvogel