Sachverhalt:
A.
A._ meldete sich im April 2017 bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen und Durchführung des Vorbescheidverfahrens sprach ihm die IV-Stelle des Kantons Graubünden mit Verfügung vom 31. Januar 2019 eine ganze Invalidenrente vom 1. November 2017 bis zum 31. Mai 2018 zu (Invaliditätsgrad zuletzt 8 %).
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 3. Juni 2020 (versandt am 15. Dezember 2020) ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Entscheids vom 3. Juni 2020 und der Verfügung vom 31. Januar 2019 sei ihm auch nach dem 31. Mai 2018 weiterhin mindestens eine halbe Invalidenrente auszurichten; eventualiter sei mindestens ein neutrales psychiatrisches und rheumatologisches Gutachten einzuholen.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
2.1. Die Vorinstanz hat gestützt auf das Gutachten der Dr. med. B._ (Fachärztin für Allgemeine Innere Medizin und Rheumatologie) vom 7. Juli 2018 und die Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) vom 3. September 2018 für angepasste Tätigkeiten eine uneingeschränkte Arbeitsfähigkeit ab März 2018 (mithin rund drei Monate nach der Operation vom 28. November 2017) festgestellt.
2.2. Was der Beschwerdeführer dagegen vorbringt, hält nicht stand. Dr. med. B._ berücksichtigte u.a. die Berichte behandelnder Ärzte und die von ihr selber erhobenen Untersuchungsbefunde. Sie begründete ihre Einschätzung, wonach für angepasste Tätigkeiten keine "lang andauernde" Arbeitsunfähigkeit bestanden habe, nachvollziehbar und einleuchtend, weshalb ihr Gutachten den Anforderungen an die Beweiskraft (vgl. <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) genügt.
Daran ändern auch die nachträglich aktenkundig gewordenen Unterlagen (insbesondere Berichte des Dr. med. C._) nichts, zumal diese keine konkreten Indizien enthalten, die gegen die Zuverlässigkeit der Expertise sprechen (vgl. <ref-ruling> E. 3b/bb S. 353). Weiter ist im Zusammenhang mit unterschiedlichen ärztlichen Einschätzungen sowohl dem Ermessensspielraum der Expertin (vgl. <ref-ruling> E. 3.4.2.3 S. 253; Urteil 9C_397/2015 vom 6. August 2015 E. 5.3) als auch dem Unterschied zwischen Behandlungs- und Begutachtungsauftrag (vgl. BGE <ref-ruling> E. 3b/cc S. 353; Urteil 9C_561/2018 vom 8. Februar 2019 E. 5.3.2.2) Rechnung zu tragen. Sodann ist eine allfällige psychische Beeinträchtigung nicht mit einer invalidenversicherungsrechtlich relevanten Arbeitsunfähigkeit gleichzusetzen (vgl. <ref-ruling>; vgl. auch <ref-ruling> E. 4.5.3 S. 417; 418 E. 7.1 S. 429). Dass eine solche gegeben sein soll, wird in der Beschwerde nicht substanziiert dargelegt und ist auch nicht ersichtlich. Ohnehin beschränkt sich der Beschwerdeführer auf weiten Strecken darauf, lediglich die Beweise abweichend von der Vorinstanz zu würdigen resp. appellatorische Kritik an deren Sachverhaltsfeststellung anzubringen, was indessen nicht genügt (<ref-ruling> E. 1.3 S. 30; Urteil 9C_517/2019 vom 4. November 2019 E. 3.5).
2.3. Nach dem Gesagten beruhen die vorinstanzliche Beweiswürdigung und die Feststellung betreffend die Arbeitsunfähigkeit nicht auf einer Rechtsverletzung. Sie sind auch nicht offensichtlich unrichtig, weshalb sie für das Bundesgericht verbindlich bleiben (vgl. vorangehende E. 1).
2.4. Die Beschwerde ist offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG mit summarischer Begründung und unter Hinweis auf den kantonalen Gerichtsentscheid erledigt wird.
3.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. April 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Dormann