Sachverhalt:
A. Der 1948 geborene P._ meldete sich im November 2004 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 22. Juni 2006 verneinte die IV-Stelle Bern den Anspruch auf Invalidenleistungen, was schliesslich das Bundesgericht mit Urteil vom 19. Januar 2009 bestätigte. Unter Hinweis auf ein Handleiden beantragte der Versicherte im August 2008 erneut Invalidenleistungen. Nach Abklärungen und Durchführung des Vorbescheidverfahrens wies die IV-Stelle das Leistungsbegehren mit Verfügung vom 20. Ja-nuar 2010 wiederum ab.
B. Die Beschwerde des P._ wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 23. Juni 2010 ab.
C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des Entscheids vom 23. Juni 2010 sei ihm ab Datum seiner Anmeldung eine Invalidenrente zuzusprechen; eventualiter sei die Sache zur weiteren medizinischen Abklärung und erneuten Beurteilung an das kantonale Gericht zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
1.2 Die aufgrund medizinischer Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit ist Entscheidung über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln (<ref-law>; <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis) Rechtsfrage.
2. Die Vorinstanz hat in Bezug auf die Beschwerden des Versicherten am Handgelenk den Bericht des Regionalen Ärztlichen Dienstes (RAD) resp. des Dr. med. Q._ vom 1. September 2009 sowie dessen Stellungnahme vom 14. Januar 2010 für beweiskräftig gehalten und gestützt darauf in der bisherigen Arbeit eine vollständige Arbeitsfähigkeit mit einer maximalen Leistungsminderung von 20 % festgestellt und eine leidensangepasste Tätigkeit für uneingeschränkt zumutbar gehalten. Hinsichtlich der Rücken- und Herzbeschwerden sowie der psychischen Beeinträchtigungen sei kein Gesundheitsscha-den mit Auswirkungen auf die Arbeits- und Erwerbsfähigkeit erstellt. Gesamthaft resultiere ein rentenausschliessender Invaliditätsgrad. Der Beschwerdeführer hält den Sachverhalt für ungenügend abgeklärt: Er rügt die Unterlassung einer psychiatrischen resp. polydisziplinären Untersuchung und stellt den Beweiswert des Berichts des Dr. med. Q._ in Abrede.
3.1 3.1.1 Bei der Beurteilung der Arbeitsunfähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, welche von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der Person noch zugemutet werden können (<ref-ruling> E. 4 S. 99 f.). Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusam-menhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis).
3.1.2 Gemäss <ref-law> (vgl. auch <ref-law> in der bis 31. Dezember 2007 geltenden Fassung) stehen die Regionalen Ärztlichen Dienste den IV-Stellen zur Beurteilung der medizinischen Voraussetzungen des Leistungsanspruchs zur Verfügung. Sie setzen die für die Invalidenversicherung nach Artikel 6 ATSG massgebende funktionelle Leistungsfähigkeit der Versicherten fest, eine zumutbare Erwerbstätigkeit oder Tätigkeit im Aufgabenbereich auszuüben. Sie sind in ihrem medizinischen Sachentscheid im Einzelfall unabhängig. Nach <ref-law> beurteilen die Regionalen Ärztlichen Dienste die medizinischen Voraussetzungen des Leistungsanspruchs. Die geeigneten Prüfmethoden können sie im Rahmen ihrer medizinischen Fachkompetenz und der allgemeinen fachlichen Weisungen des Bundesamtes frei wählen (Abs. 1). Die Regionalen Ärztlichen Dienste können bei Bedarf selber ärztliche Untersuchungen von Versicherten durchführen. Sie halten die Untersuchungsergebnisse schriftlich fest (Abs. 2).
3.1.3 Auch auf Stellungnahmen der RAD kann indessen nur abgestellt werden, wenn sie den allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht genügen (E. 3.1.1; Urteil des Eidg. Versicherungsgerichts I 694/05 vom 15. Dezember 2006 E. 2). Nicht zwingend erforderlich ist, dass die versicherte Person untersucht wird. Nach <ref-law> führt der RAD für die Beurteilung der medizinischen Voraussetzungen des Leistungsanspruchs nur "bei Bedarf" selber ärztliche Untersuchungen durch. In den übrigen Fällen stützt er seine Beurteilung auf die vorhandenen ärztlichen Unterlagen ab (BBl 2005 4572 zu Absatz 2). Das Absehen von eigenen Untersuchungen ist somit nicht an sich ein Grund, um einen RAD-Bericht in Frage zu stellen. Dies gilt insbesondere, wenn es im Wesentlichen um die Beurteilung eines feststehenden medizinischen Sachverhalts geht und die direkte ärztliche Befassung mit der versicherten Person in den Hintergrund rückt (SVR 2009 IV Nr. 56 S. 174, 9C_323/2009 E. 4.3.1, mit Hinweisen).
3.1.4 Soweit sich ein Entscheid ausschliesslich auf versicherungsinterne ärztliche Beurteilungen stützt, sind an die Beweiswürdigung strenge Anforderungen zu stellen: Bestehen auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der ärztlichen Feststellungen, ist eine versicherungsexterne medizinische Begutachtung im Verfahren nach <ref-law> oder ein Gerichtsgutachten anzuordnen (<ref-ruling> E. 4 S. 467 ff.; <ref-ruling> E. 1d S. 162 f.).
3.2 Die vorinstanzlichen Feststellungen betreffend Rücken- und Herzbeschwerden beruhen auf den Berichten des Kardiologen Dr. med. R._ vom 5. Januar 2010 und des Rheumatologen Dr. med. M._ vom 21. August 2009, welche hinsichtlich ihrer Beweiskraft zu Recht nicht in Frage gestellt werden. Weiter hat das kantonale Gericht festgehalten, in den Akten fehlten Anzeichen dafür, dass sich in psychiatrischer Hinsicht seit der Begutachtung durch Dr. med. N._ - welche der Verfügung vom 22. Juni 2006 zugrunde lag - etwas verändert habe. Entgegen der Auffassung des Versicherten besteht auch im Rahmen der Sachverhaltsabklärung von Amtes wegen (Art. 61 lit. c und Art. 43 Abs. 1 ATSG) kein Anspruch auf eine polydisziplinäre Begutachtung. Das kantonale Gericht hat daher diesbezüglich in pflichtgemässer antizipierender Beweiswürdigung (BGE <ref-ruling> E. 1d S. 162) auf weitere - insbesondere psychiatrische - Abklärungen verzichtet. Es ist nicht ersichtlich, inwiefern die Feststellungen in Bezug auf Rücken, Herz und Psyche offensichtlich unrichtig sein oder auf einer Rechtsverletzung beruhen sollen, weshalb sie für das Bundesgericht verbindlich sind (E. 1.1).
3.3 In Bezug auf die Beschwerden an der Hand ist die vorinstanzliche Feststellung, wonach vom 13. August 2007 bis 15. Mai 2008 sowie vom 16. Januar bis 23. April 2009 eine vollständige Arbeitsunfähigkeit bestand, unbestritten. Darüber hinaus attestierte der behandelnde Facharzt für orthopädische Chirurgie Dr. med. S._ gegenüber der IV-Stelle eine vollständige Arbeitsunfähigkeit als Bibliothekar ab 13. August 2007 resp. 25. Januar 2008 (Berichte vom 29. Mai und 15. Dezember 2009). Der SUVA-Arzt Dr. med. K._ hielt die Arbeit am Computer, welche rund 80 % der bisherigen Tätigkeit ausgemacht habe, nicht mehr für möglich (Bericht vom 21. Juli 2009). Dr. med. L._, ebenfalls SUVA-Arzt, "bestätigte" mit Bericht vom 16. November 2009 die Arbeitsunfähigkeit von 100 %. Diese Einschätzungen beruhen auf eigenen Untersuchungen und stellen eine Einschränkung von erheblichem Ausmass dar. Unter diesen Umständen bestehen zumindest geringe Zweifel an der Zuverlässigkeit der Auffassung des RAD-Arztes Dr. med. Q._, welcher lediglich gestützt auf die (medizinischen) Unterlagen von einer vollständigen Arbeitsfähigkeit mit einer maximalen Leistungsminderung von 20 % ausging. Der RAD-Bericht vom 1. September 2009 sowie die Stellungnahme vom 14. Januar 2010 genügen daher den bundesrechtlichen Anforderungen nicht (E. 1.2 und 3.1.4). Das kantonale Gericht wird entsprechende Abklärungen zu treffen und den Rentenanspruch erneut zu beurteilen haben.
4. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>). Überdies hat sie dem obsiegenden Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 23. Juni 2010 aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Januar 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann