Sachverhalt:
A.
Der 1961 geborene A._ meldete sich im Oktober 2012 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern holte im Rahmen der Abklärungen insbesondere das interdisziplinäre Gutachten der MEDAS Bern vom 24. Januar 2014 samt ergänzender Stellungnahme des Dr. med. B._, Facharzt für Neurologie, vom 4. April 2014 ein. Nach Durchführung des Vorbescheidverfahrens ermittelte die Verwaltung einen Invaliditätsgrad von 15 %. Folglich verneinte sie mit Verfügung vom 5. August 2014 einen Rentenanspruch. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Urteil vom 1. Februar 2016 ab. Das Bundesgericht hiess die daraufhin erhobene Beschwerde mit Urteil 9C_181/2016 vom 2. Juni 2016 teilweise gut. Es hob das angefochtene Urteil und die Verfügung der IV-Stelle Bern vom 5. August 2014 auf und wies die Sache zu neuer Verfügung an die Verwaltung zurück. Im Übrigen wies es die Beschwerde ab.
Nach weiteren Abklärungen sprach die IV-Stelle A._ mit Verfügung vom 10. August 2018 eine halbe Invalidenrente ab dem 1. Mai 2017 zu (Invaliditätsgrad 55 %). Das Verwaltungsgericht des Kantons Bern hiess eine erneute Beschwerde des A._ - nachdem es ihm eine Schlechterstellung (reformatio in peius) angedroht und Gelegenheit zum Beschwerderückzug eingeräumt hatte - mit Urteil vom 27. Mai 2019 teilweise gut. Es hob die Verfügung vom 10. August 2018 auf und wies die Sache zu weiteren Abklärungen und neuer Verfügung an die IV-Stelle zurück.
Nach ergänzenden Untersuchungen, insbesondere Einholung des polydisziplinären Gutachtens der Ärztliches Begutachtungsinstitut GmbH (ABI) vom 7. Januar 2020, und Durchführung des Vorbescheidverfahrens ermittelte die IV-Stelle einen Invaliditätsgrad von 10 %. Mit Verfügung vom 27. Oktober 2020 verneinte sie einen Leistungsanspruch des A._.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Urteil vom 3. März 2021 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Urteils vom 3. März 2021 und der Verfügung vom 27. Oktober 2020 sei ihm eine halbe Invalidenrente ab März 2013 zuzusprechen; eventualiter sei die Angelegenheit zu weiteren medizinischen Abklärungen, namentlich zur Einholung eines Fachgutachtens einer schweizerischen Universitätsklinik oder der Klinik C._, und neuen Verfügung an die IV-Stelle zurückzuweisen.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.
Im angefochtenen Urteil wurden die rechtlichen Grundlagen für den Anspruch auf eine Invalidenrente (Art. 7 f. ATSG, Art. 4 Abs. 1 und Art. 28 IVG), zur Invaliditätsbemessung (<ref-law>) sowie zur Bedeutung und Beweiskraft medizinischer Unterlagen (<ref-ruling> E. 3.2; <ref-ruling> E. 4; SVR 2018 IV Nr. 27 S. 86, 8C_260/2017 E. 4.2.1) zutreffend dargelegt. Darauf wird verwiesen.
3.
3.1. Die Vorinstanz hat dem ABI-Gutachten Beweiskraft beigemessen und gestützt darauf festgestellt, dass der Versicherte in der angestammten Tätigkeit zu 90 % arbeitsfähig sei. Beim entsprechenden Invaliditätsgrad von 10 % verneinte sie einen Leistungsanspruch.
3.2. Was der Beschwerdeführer gegen die Beweiskraft des ABI-Gutachtens vorbringt, hält nicht stand. Der regelmässige Beizug eine s Experten durch den Versicherungsträger führt für sich allein genommen nicht zum Ausstand ( vgl. <ref-ruling> E. 1.3.3; Urteil 9C_135/2021 vom 27. April 2021E. 3.3.2). Abgesehen davon kann eine Institution als solche nicht befangen sein (<ref-ruling> E. 1.3.3; SVR 2016 IV Nr. 8 S. 23, 8C_599/2014 E. 3.3), wie das kantonale Gericht richtig ausgeführt hat. Das gilt erst recht, wenn der Gutachtensauftrag - wie hier - gemäss <ref-law> (SR 831.201) nach dem Zufallsprinzip erfolgte. Die ABI-Expertise beruht auf den Disziplinen Allgemeine Innere Medizin, Kardiologie, Neurologie, Psychiatrie und Rheumatologie. Die Gutachterstelle begründete den Umstand, dass es für die Begutachtung anstelle eines Orthopäden eine Rheumatologin beizog, mit "äquivalenter medizinischer Indikation", was die IV-Stelle dem Versicherten mit Schreiben vom 14. Oktober 2019 zur Kenntnis brachte. Die Vorinstanz hat zutreffend erkannt, dass es keine strikte Bindung der Abklärungsstelle an die Disziplinenwahl der IV-Stelle resp. des Regionalen Ärztlichen Dienstes gibt (<ref-ruling> E. 3.3), und dass eine Rheumatologin kompetent ist, die funktionellen Auswirkungen von Rückenbeschwerden zu beurteilen (Urteile 9C_93/2019 vom 10. April 2019 E. 4.1.2 Abs. 2; 8C_325/2018 vom 11. September 2018 E. 4.1). Auch wenn am Vorgutachten der MEDAS Bern vom 24. Januar 2014 eine Neurochirurgin (Dr. med. D._) beteiligt gewesen war, leuchtet nicht ein, weshalb die ABI-Ärzte neben der neurologischen und rheumatologischen eine zusätzliche neurochirurgische Untersuchung hätten durchführen müssen. Weiter hat die Vorinstanz richtig dargelegt, dass die ABI-Experten Dres. med. E._ und F._ - selbst wenn es sich bei Ihnen nach der Terminologie des Beschwerdeführers um "Gutachter-Touristen" handeln sollte - über einen in der Schweiz anerkannten Weiterbildungstitel in Rheumatologie resp. Neurologie und damit über die nötige Fachkompetenz verfügen (SVR 2020 IV Nr. 64 S. 224, 8C_767/2019 E. 3.3 mit Hinweisen; Urteil 8C_28/2021 vom 9. April 2021 E. 5.1). Sodann fehlt ein konkreter Hinweis darauf, dass die ABI-Experten das MEDAS-Gutachten oder das vom Versicherten beim Spital G._ in Auftrag gegebene neurochirurgische/neurologische Aktengutachten vom 21. Juni 2016 nur ungenügend berücksichtigt haben sollten. Daran ändert nichts, dass das ABI-Gutachten diesbezüglich nicht zu jedem Punkt explizite Ausführungen enthält. Insbesondere stimmen die Diagnosen im rheumatologischen resp. neurologischen ABI-Teilgutachten mit jenen überein, die beim Spital G._ gestellt worden waren. Die abweichende Einschätzung der Arbeitsfähigkeit durch die ABI-Experten beruht auf der eigenen klinischen Untersuchung und Befunderhebung (was bei Gesundheitsschäden im Bereich der Wirbelsäule die wichtigste und feinste Prüfung darstellt; Urteil 8C_839/2019 vom 12. Mai 2020 E. 3.2.1) und liegt im Ermessensspielraum der Experten (vgl. <ref-ruling> E. 3.4.2.3).
Nach dem Gesagten genügt das ABI-Gutachten den Anforderungen an die Beweiskraft (vgl. <ref-ruling> E. 5.1; <ref-ruling> E. 3a).
3.3. Was die Beweiswürdigung anbelangt, so hatte das Bundesgericht bereits im Urteil 9C_181/2016 vom 2. Juni 2016 E. 3.3-3.5 erkannt (vgl. zur Bindung an ein Rückweisungsurteil <ref-ruling> E. 5.3.3; <ref-ruling> E. 2), dass und weshalb auf das MEDAS-Gutachten vom 24. Januar 2014 resp. auf die darin enthaltenen Einschätzungen des Neurologen Dr. med. B._ (und der Neurochirurgin Dr. med. D._) nicht abgestellt werden durfte. Sodann ist das kantonale Gericht zu Recht davon ausgegangen, dass das Aktengutachten des Spitals G._ keine konkreten Indizien enthält, die gegen die Zuverlässigkeit des ABI-Gutachtens sprechen (vgl. <ref-ruling> E. 1.3.4; <ref-ruling> E. 3b/bb). Hinzu kommt, dass der Versicherte beim Spital G._ nicht nur angestellt war resp. ist (vgl. dazu die nicht substanziiert bestrittenen Ausführungen in E. 3.4.2 des vorinstanzlichen Rückweisungsurteils vom 27. Mai 2019), sondern dort auch behandelt wurde (vgl. BGE <ref-ruling> E. 3b/cc).
Die vorinstanzliche Beweiswürdigung beruht somit nicht auf einer Rechtsverletzung. Dass sie offensichtlich unrichtig (unhaltbar, willkürlich: <ref-ruling> E. 4.2 mit Hinweisen; Urteil 9C_84/2021 vom 2. August 2021 E. 2) sein soll, ist nicht ersichtlich und wird auch nicht (substanziiert) geltend gemacht. Sie bleibt daher für das Bundesgericht verbindlich (E. 1). Die Beschwerde ist auch in diesem Punkt unbegründet.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. August 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Dormann