Sachverhalt:
A.
Der 1970 geborene A._, zuletzt selbständig erwerbender Landwirt, meldete sich am 28. Juni 2018 unter Hinweis auf Schmerzen und Bewegungseinschränkungen an der Schulter sowie Schmerzen am Knie bei der Eidgenössischen Invalidenversicherung (IV) zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich klärte in der Folge die medizinischen sowie erwerblichen Verhältnisse ab. Insbesondere holte sie den Bericht der behandelnden Fachärzte Prof. Dr. med. B._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, und Dr. med. C._, Facharzt für Physikalische Medizin und Rehabilitation sowie Rheumatologie vom 24. Oktober 2018 und die Stellungnahmen von Dr. med. D._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates sowie der behandelnden Fachärzte für Neurologie ein. Mit Mitteilung vom 21. Februar 2019 machte die IV-Stelle den Versicherten darauf aufmerksam, dass berufliche Eingliederungsmassnahmen nicht möglich seien und der Rentenanspruch geprüft werde. Am 3. Oktober 2019 äusserte sich Dr. med. E._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, des Regionalen Ärztlichen Dienstes (RAD) in einer Aktenbeurteilung zum medizinischen Sachverhalt (ergänzende Stellungnahme vom März 2020). Nach durchgeführtem Vorbescheidverfahren wies die IV-Stelle den Anspruch des Versicherten auf eine Invalidenrente und auf berufliche Eingliederungsmassnahmen mit Verfügung vom 1. September 2020 ab.
B.
Die hiergegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Urteil vom 4. Januar 2021 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten in Abänderung respektive Aufhebung des angefochtenen Urteils und der Verfügung vom 1. September 2020 eine Invalidenrente sowie berufliche Eingliederungsmassnahmen, eventualiter die Rückweisung an die Vorinstanz oder die Beschwerdegegnerin zwecks ergänzender Abklärungen beantragen.
Die Vorinstanz, die Beschwerdegegnerin und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Stellungnahme.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
2.
2.1. Streitig und zu prüfen ist, ob Bundesrecht verletzt wurde, indem die Vorinstanz die Ansprüche des Beschwerdeführers auf eine Invalidenrente sowie auf Eingliederungsmassnahmen beruflicher Art abgewiesen hat.
2.2.
2.2.1. Das kantonale Gericht hat die Grundlagen über die Invalidität (Art. 8 Abs. 1 ATSG), die Erwerbsunfähigkeit (Art. 7 ATSG) und den Rentenanspruch (Art. 28 IVG) korrekt dargelegt. Gleiches gilt für die Grundsätze zum Anspruch auf Eingliederungsmassnahmen (Art. 8 Abs. 1 und 3 IVG). Darauf wird verwiesen.
2.2.2. Bei Entscheiden gestützt auf versicherungsinterne ärztliche Beurteilungen, die im Wesentlichen oder ausschliesslich aus dem Verfahren vor dem Sozialversicherungsträger stammen (vgl. in diesem Sinne Art. 49 Abs. 1 IVV), sind strenge Anforderungen an die Beweiswürdigung zu stellen. Bestehen auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der ärztlichen Feststellungen, sind ergänzende Abklärungen vorzunehmen (<ref-ruling> E. 5.2; <ref-ruling> E. 4.4, je mit Hinweisen).
Solche geringen Zweifel können rechtsprechungsgemäss namentlich mit - nachvollziehbar begründeten - Stellungnahmen anderer medizinischer Fachpersonen geweckt werden (vgl. Urteil 8C_399/2020 vom 28. September 2020 E. 5 mit weiteren Hinweisen). Es würde einen Verstoss gegen Bundesrecht bedeuten, die Eignung der Berichte der behandelnden Ärztinnen und Ärzte zur Weckung derartiger Zweifel von letztlich unerfüllbaren Anforderungen abhängig zu machen. Wird die Schlüssigkeit der Feststellungen der versicherungsinternen Fachpersonen durch einen nachvollziehbaren Bericht eines behandelnden Arztes in Zweifel gezogen, so genügt deshalb der pauschale Hinweis auf dessen auftragsrechtliche Stellung nicht, um solche Zweifel auszuräumen. Ebenfalls kann nicht bloss darauf verwiesen werden, diese Berichte erfüllten die Anforderungen an Gutachten gemäss <ref-ruling> E. 3a nicht oder nur unvollständig. Damit die versicherte Person eine vernünftige Chance hat, ihre Sache dem Gericht zu unterbreiten, ohne gegenüber dem Versicherungsträger klar benachteiligt zu sein, darf bei Bestand solcher Zweifel nicht aufgrund der von der versicherten Person aufgelegten Berichte einerseits und den versicherungsinternen medizinischen Berichten andererseits eine abschliessende Beweiswürdigung vorgenommen werden. Um solche Zweifel auszuräumen, wird das Gericht vielmehr entweder ein Gerichtsgutachten anzuordnen oder die Sache an den Versicherungsträger zurückzuweisen haben, damit dieser im Verfahren nach Art. 44 ATSG eine Begutachtung veranlasst (BGE <ref-ruling> E. 4.6).
Ein medizinischer Aktenbericht ist schliesslich beweistauglich, wenn die Akten einen vollständigen Überblick über Anamnese, Verlauf und gegenwärtigen Status ergeben und diese Daten unbestritten sind; der Untersuchungsbefund muss lückenlos vorliegen, damit die berichterstattende Person imstande ist, sich auf Grund der vorhandenen Unterlagen ein vollständiges Bild zu verschaffen (Urteil 9C_415/2019 vom 14. Oktober 2019 E. 4.2 mit Hinweisen).
2.2.3. Zudem zu beachten gilt es, dass es sich bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit um Tatfragen handelt (<ref-ruling> E. 3.2). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes und der Anforderungen an die Beweiskraft ärztlicher Berichte und Gutachten Rechtsfragen (Urteile 9C_899/2017 vom 9. Mai 2018 E. 2.1 und 8C_673/2016 vom 10. Januar 2017 E. 3.2). Gleiches gilt für die korrekte Anwendung der Beweiswürdigungsregeln (vgl. <ref-ruling> E. 4.1).
Eine konkrete Beweiswürdigung ist schliesslich etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1; vgl. auch <ref-ruling> E. 4.2 mit Hinweisen).
3.
Die Vorinstanz hat in Würdigung der medizinischen Aktenlage - insbesondere der versicherungsinternen Aktenbeurteilung von Dr. med. E._ vom 3. Oktober 2019 - darauf geschlossen, dass der Beschwerdeführer in leidensangepasster Tätigkeit zu 75 bis 80 % arbeitsfähig sei, wobei zu seinen Gunsten von 75 % auszugehen sei. Gestützt auf ein Einkommen von Fr. 72'063.-, das der Beschwerdeführer erzielen könnte, wenn er nicht invalid geworden wäre (Valideneinkommen), und ein Erwerbseinkommen von Fr. 50'825.-, welches der Beschwerdeführer nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihm zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage verdienen könnte (Invalideneinkommen), hat sie einen rentenausschliessenden Invaliditätsgrad von rund 30 % ermittelt. Den Anspruch auf berufliche Eingliederungsmassnahmen hat sie ebenfalls verneint.
4.
4.1. Der Beschwerdeführer rügt zunächst die vom kantonalen Gericht festgestellte Arbeitsfähigkeit in leidensangepasster Tätigkeit und in diesem Zusammenhang die Beweiskraft der Stellungnahme von Dr. med. E._, die Sachverhaltsfeststellungen des kantonalen Gerichts sowie eine Verletzung der Beweiswürdigungsregeln.
4.2. Das kantonale Gericht ist hinsichtlich der Arbeitsfähigkeitsschätzung in leidensangepasster Tätigkeit im Ergebnis der Stellungnahme von Dr. med. E._ vom 3. Oktober 2019 gefolgt, wonach der Beschwerdeführer zu 75 bis 80 % arbeitsfähig sei (100 % Präsenz mit 20 bis 25%iger Leistungsminderung).
4.2.1. Die vorinstanzliche Feststellung, dass sich hinsichtlich der Arbeitsfähigkeit in leidensangepasster Tätigkeit gemäss den aktenkundigen medizinischen Einschätzungen "keine echten Diskrepanzen" ergäben respektive der Unterschied zwischen den Beurteilungen der Dres. med. D._ vom 10. September 2019 und E._ rein in einer verbalen Finesse begründet sei, ist - wie zu Recht gerügt - offensichtlich unrichtig: Entgegen dem kantonalen Gericht ist eine Arbeitsfähigkeit von wahrscheinlich leicht über vier Stunden pro Tag gemäss Beurteilung des behandelnden Facharztes gegenüber einer 75 bis 80%igen Leistungsfähigkeit bei vollzeitiger Präsenz von Dr. med. E._ sogar deutlich abweichend. Im Übrigen hat das kantonale Gericht auch ausser Acht gelassen, dass sich bereits Prof. Dr. med. B._ und Dr. med. C._ in ihrem Bericht vom 24. Oktober 2018 zur Arbeitsfähigkeit in leidensangepasster Tätigkeit geäussert und diese mit 50 % beziffert hatten. So hatten sie explizit dargelegt, der Beschwerdeführer könne auf seinem Bauernhof nur noch die administrativen und leichten Tätigkeiten ausführen, jedoch nicht mehr die schweren. Das heisse, er sei etwa zu 50 % arbeitsunfähig und könne dabei nur noch leichte Tätigkeiten ausüben ohne Heben von schweren Lasten und ohne repetitives Beugen des Oberkörpers. Damit liegt eine weitere diskrepante Beurteilung zu derjenigen des versicherungsinternen Arztes vor.
4.2.2. Dr. med. E._ hat sich nicht mit den abweichenden Arbeitsfähigkeitsschätzungen der behandelnden Fachärzte auseinandergesetzt, was die Beweiskraft seiner Stellungnahme in Frage stellt.
Eine reine Aktenbeurteilung hat sich sodann auf einen feststehenden medizinischen Sachverhalt zu beziehen. Die Akten müssen einen vollständigen Überblick über Anamnese, Verlauf und gegenwärtigen Status ergeben (vgl. E. 2.2.1 hiervor). Gemäss Aktenlage hat sich im Verlauf eine fragliche neurologische Problematik entwickelt, wobei den Akten jedoch keine Angaben zur Arbeitsfähigkeit zu entnehmen sind. Die letzte Stellungnahme zum Gesundheitszustand durch eine Fachärztin für Neurologie stammt von November 2018. Die Aktenbeurteilung durch Dr. med. E._ erfolgte rund ein Jahr später. Zu diesem Zeitpunkt ging zumindest Dr. med. D._ von einer massgeblich zervikogenen Symptomatik aus. Dennoch wurde vor der Aktenbeurteilung durch den fachfremden Dr. med. E._ vom 3. Oktober 2019 keine abschliessende Stellungnahme eines Neurologen zum gegenwärtigen Status (inklusive Arbeitsfähigkeitsschätzung) eingeholt. Die versicherungsinterne Einschätzung stützte sich somit nicht auf einen lückenlos feststehenden medizinischen Sachverhalt.
Aus den genannten Gründen bestehen mehr als nur geringe Zweifel an der versicherungsinternen Stellungnahme von Dr. med. E._ vom 3. Oktober 2019. Es ist ihr daher die Beweiskraft abzusprechen. Indem das kantonale Gericht dennoch darauf abgestellt hat, hat es Bundesrecht verletzt.
4.2.3. Die Vorinstanz hat sich schliesslich damit begnügt, für den Fall einer Diskrepanz zwischen der versicherungsinternen Stellungnahme von Dr. med. E._ vom 3. Oktober 2019 und derjenigen von Dr. med. D._ vom 10. September 2019 mit der auftragsrechtlichen Vertrauensstellung des behandelnden Facharztes zu argumentieren. Zur Frage, inwiefern die Arbeitsfähigkeitsschätzung von Prof. Dr. med. B._ und Dr. med. C._ vom 24. Oktober 2018 die Aktenbeurteilung von Dr. med. E._ in Zweifel zu ziehen vermag, hat sich das kantonale Gericht nicht geäussert. Dies, ohne den Berichten der behandelnden Fachärzte die Beweiskraft abzusprechen. Damit hat das kantonale Gericht die bundesgerichtlichen Regeln zur Beweiswürdigung und somit Bundesrecht verletzt. Ob sogar von einer offensichtlich unrichtigen Beweiswürdigung ausgegangen werden müsste, kann offen gelassen werden (vgl. E. 2.2 hiervor).
4.2.4. Zusammenfassend liegt der Schlussfolgerung des kantonalen Gerichts betreffend die Arbeitsfähigkeit in leidensangepasster Tätigkeit mit Blick auf die Einwendungen des Beschwerdeführers eine offensichtlich unrichtige Feststellung des Sachverhalts zugrunde. Im Weiteren stellt sie das Ergebnis mehrfacher Rechtsverletzungen im Sinne von Art. 95 lit. a BGG dar (vgl. E. 1 und 2.2 hiervor). Die Beschwerde ist begründet.
Die Sache ist an die Beschwerdegegnerin zurückzuweisen. Diese hat den Beschwerdeführer begutachten zu lassen, um danach neu über die strittigen Ansprüche zu entscheiden.
5.
Hinsichtlich der Prozesskosten gilt die Rückweisung der Sache zu neuem Entscheid praxisgemäss als volles Obsiegen (statt vieler: <ref-ruling> E. 7.1; Urteil 9C_559/2019 vom 9. Dezember 2019 E. 7). Die Beschwerdegegnerin hat daher die Gerichtskosten zu tragen und dem Beschwerdeführer eine Parteientschädigung auszurichten (vgl. Art. 66 Abs. 1 und Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Das Urteil des Sozialversicherungsgerichts des Kantons Zürich vom 4. Januar 2021 und die Verfügung der IV-Stelle des Kantons Zürich vom 1. September 2020 werden aufgehoben. Die Sache wird zu neuer Verfügung an die IV-Stelle des Kantons Zürich zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, II. Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. November 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist