Sachverhalt:
A. Der 1956 geborene A._ meldete sich im April 2002 ein zweites Mal bei der Invalidenversicherung an und ersuchte u.a. um eine Rente. Zur Prüfung der Anspruchsvoraussetzungen liess die IV-Stelle Bern den Gesuchsteller durch Dr. med. L._, Facharzt FMH für Innere Medizin und Rheumaerkrankungen, und Dr. med. H._, Facharzt für Psychiatrie und Psychotherapie FMH, untersuchen und begutachten. Mit Verfügung vom 16. September 2004 und Einspracheentscheid vom 10. Februar 2005 verneinte die IV-Stelle den Anspruch auf eine Invalidenrente, was die I. sozialrechtliche Abteilung des Bundesgerichts mit Urteil I 18/06 vom 1. Februar 2007 letztinstanzlich bestätigte.
Im Dezember 2007 meldete sich A._ erneut bei der Invalidenversicherung an und beantragte eine Rente. Nach Abklärungen teilte ihm die IV-Stelle Bern mit Vorbescheid vom 16. Mai 2008 die voraussichtliche Ablehnung des Leistungsbegehrens mit. Dagegen liess der anwaltlich vertretene Versicherte Einwendungen erheben. Nach Rücksprache mit dem Regionalen ärztlichen Dienst teilte die IV-Stelle A._ mit, sie beabsichtige, bei den Dres. med. L._ und H._ eine Untersuchung anzuordnen, was dieser jedoch ablehnte. Im Schreiben vom 1. Oktober 2008 hielt die IV-Stelle u.a. fest, über die geltend gemachten materiellen Ablehnungsgründe könne nicht mit Verfügung befunden werden; diese könnten im Rahmen der Beweiswürdigung betreffend die abschliessende Leistungsverfügung gerichtlich überprüft werden. Mit Schreiben vom 6. Oktober 2008 forderte die Rechtsvertretung von A._ die IV-Stelle auf, eine anfechtbare Verfügung zu erlassen und darin zum geltend gemachten Ausstandsgrund der Befangenheit der Dres. med. H._ und L._ Stellung zu nehmen. «Sollten wir nicht innerhalb von 10 Tagen eine Verfügung erhalten, dann wären wir gezwungen davon auszugehen, dass bereits Ihr Schreiben vom 01.10.2008 Verfügungscharakter hat und müssten diesen Entscheid mit Beschwerde ans Verwaltungsgericht weiterziehen.»
B. Am 30. Oktober 2008 liess A._ beim Verwaltungsgericht des Kantons Bern Beschwerde - in der Begründung als Rechtsverweigerungsbeschwerde bezeichnet - einreichen und beantragen, die IV-Stelle sei anzuweisen, über die formellen Einwendungen gegen den Gutachter Dr. med. H._ eine anfechtbare Zwischenverfügung zu erlassen. Nach Vernehmlassung der IV-Stelle wies die Sozialversicherungsrechtliche Abteilung des Verwaltungsgerichts die Beschwerde ab und schickte die Akten zur Fortsetzung des Verfahrens an die IV-Stelle zurück (Entscheid vom 20. Januar 2009).
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 20. Januar 2009 sei aufzuheben und die IV-Stelle anzuweisen, über die formellen Einwendungen gegen den Gutachter Dr. med. H._ eine anfechtbare Zwischenverfügung zu erlassen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Es kann unter Berücksichtigung der den Parteien obliegenden Rügepflicht eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4.1 und 1.4.2 S. 254; Urteil 9C_867/2008 vom 6. April 2009 E. 3).
2. 2.1 Gegen Verfügungen der IV-Stellen ist in Abweichung von <ref-law> direkt beim örtlich zuständigen kantonalen Versicherungsgericht oder beim Bundesverwaltungsgericht Beschwerde zu erheben (<ref-law>). Zu den anfechtbaren Verfügungen gehören insbesondere das Nichteintreten auf Begehren einer versicherten Person auf Begründung, Änderung, Aufhebung oder Feststellung von Rechten oder Pflichten (<ref-law>; <ref-ruling> E. 3.2 S. 98). Die Verfügung bildet, formell, Anfechtungsgegenstand im erstinstanzlichen Beschwerdeverfahren (RKUV 2003 Nr. U 495, U 243/00 E. 2.1) und stellt eine Sachurteilsvoraussetzung dar (<ref-ruling> E. 1a S. 414 mit Hinweisen).
Beschwerde kann auch erhoben werden, wenn die IV-Stelle entgegen dem Begehren der betroffenen Person keine Verfügung erlässt (<ref-law> in Verbindung mit <ref-law>). Formelle Rechtsverweigerung liegt u.a. vor, wenn eine Behörde zu Unrecht auf eine ihr unterbreitete Sache nicht eintritt, obschon sie darüber materiell entscheiden müsste (<ref-law>; <ref-ruling> E. 3a S. 117 f. mit Hinweisen; Pra 2003 Nr. 119, 1P.15/2003 E. 2).
2.2 Muss die IV-Stelle zur Abklärung des Sachverhaltes ein Gutachten einer oder eines unabhängigen Sachverständigen einholen, gibt sie der Partei deren oder dessen Namen bekannt. Diese kann den Gutachter aus triftigen Gründen ablehnen und kann Gegenvorschläge machen (<ref-law> in Verbindung mit <ref-law> und <ref-law>). Für Sachverständige gelten grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind. Danach ist Befangenheit anzunehmen, wenn Umstände vorliegen, die in objektiver Weise und nicht bloss auf Grund des subjektiven Empfindens der Partei geeignet sind, Misstrauen in die Unparteilichkeit und Unvoreingenommenheit der sachverständigen Person zu erwecken (<ref-ruling> E. 7.1 S. 109 mit Hinweis).
Über Einwendungen formeller Natur gegen Sachverständige ist in einer selbständig anfechtbaren Zwischenverfügung zu entscheiden. Zu den Einwendungen formeller Natur gehören im Wesentlichen die Ausstandsgründe gemäss <ref-law>, welche mit denjenigen nach <ref-law> (u.a. ein persönliches Interesse in der Sache, enge verwandtschaftliche oder freundschaftliche Verbundenheit mit einer Partei oder Befangenheit in der Sache aus anderen Gründen) übereinstimmen (SVR 2008 IV Nr. 22, 9C_67/2007 E. 2.2). Demgegenüber betreffen Einwendungen materieller Natur - auch soweit sie sich gegen die Person des Gutachters richten - Fragen, welche mit der Beweiswürdigung zu tun haben und daher in der Regel mit dem Entscheid in der Sache zu behandeln sind (<ref-ruling> E. 6.5 S. 108; Urteil 8C_777/2007 vom 28. April 2008 E. 2.1).
3. 3.1 Der Beschwerdeführer hatte mit Schreiben vom 26. September 2008 Dr. med. H._ als psychiatrischen Experten mit der Begründung abgelehnt, die letzte Begutachtung sei mangelhaft durchgeführt worden und es bestehe damit offensichtlich eine Befangenheit. Im Schreiben vom 1. Oktober 2008 äusserte sich die IV-Stelle in dem Sinne, die Einwendungen gegen Dr. med. H._ seien materieller Natur. Sie könne darüber nicht mit Verfügung befinden. Dem hielt der Beschwerdeführer im Schreiben vom 6. Oktober 2008 entgegen, die Dr. med. H._ vorgeworfene Befangenheit sei ein gesetzlicher Ausstandsgrund gemäss <ref-law>. Darüber müsse in einer selbständig anfechtbaren Zwischenverfügung entschieden werden. Sollte er nicht innert 10 Tagen eine solche Verfügung erhalten, sei er gezwungen davon auszugehen, dass bereits das Schreiben vom 1. Oktober 2008 Verfügungscharakter habe und müsste diesen Entscheid mit Beschwerde anfechten. Am 30. Oktober 2008 erhob der Versicherte Rechtsverweigerungsbeschwerde und beantragte, die IV-Stelle sei anzuweisen, über die formellen Einwendungen gegen den Gutachter Dr. med. H._ eine anfechtbare Zwischenverfügung zu erlassen.
3.2 Die Vorinstanz hat nicht geprüft, ob die Rechtsverweigerungsbeschwerde zulässig und der Vorwurf der Rechtsverweigerung durch die IV-Stelle begründet ist. Sie hat erwogen, der Versicherte habe sich widersprüchlich verhalten, indem er entgegen der Ankündigung im Schreiben vom 6. Oktober 2008, Beschwerde in der Sache selbst zu erheben, eine Rechtsverweigerungsbeschwerde eingereicht und beantragt habe, die IV-Stelle sei anzuweisen, eine anfechtbare Zwischenverfügung zu erlassen. Damit habe er den auch für Private in ihrem Verhältnis zu staatlichen Institutionen geltenden Verfassungsgrundsatz von Treu und Glauben (<ref-law>) verletzt. Dieser Verstoss sowie der Umstand, dass die IV-Stelle aus seiner Sicht bereits verfügt hatte, führe zur Abweisung der Beschwerde.
Dieser Argumentation kann schon deshalb nicht gefolgt werden, weil die Vorinstanz den Beschwerdeführer dabei behaftet, dass er sich gegenüber der IV-Stelle in dem Sinne geäussert hatte, er werde allenfalls gezwungen sein, ihr Schreiben vom 1. Oktober 2008 als Verfügung zu betrachten und mit Beschwerde anzufechten. Ob dem Schreiben einer Verwaltungsbehörde Verfügungscharakter zukommt oder nicht, entscheidet im Streitfalle aber die Beschwerdeinstanz und nicht der oder die Rechtsunterworfene. Diese für die Zulässigkeit einer Rechtsverweigerungsbeschwerde bedeutsame Frage hat das kantonale Gericht bezüglich des Schreibens der IV-Stelle vom 1. Oktober 2008 jedoch offen gelassen.
4. 4.1 Erachtet die IV-Stelle die Einwendungen gegen einen Gutachter oder eine Gutachterin als materieller Natur, weist sie die versicherte Person in der Regel in Form einer einfachen Mitteilung darauf hin, dass darüber im Rahmen der Beweiswürdigung zusammen mit dem Entscheid in der Sache in Form einer anfechtbaren Verfügung befunden werde (<ref-ruling> E. 9 S. 387). Das Schreiben vom 1. Oktober 2008 stellt eine solche Mitteilung dar. Auf Verlangen der versicherten Person hat sie eine in diesem Sinne lautende Verfügung zu erlassen. Diese ist selbständig anfechtbar. Der Anspruch auf Prüfung gesetzlicher Ausstands- und Ablehnungsgründe in einem selbständigen Zwischenverfahren umfasst auch die gleichzeitige Beantwortung der Vorfrage nach der (formellen oder materiellen) Natur der geltend gemachten Einwendungen gegen die sachverständige Person, dies nicht etwa verstanden im Sinne einer weiteren selbständigen Verfügungspflicht, sondern als Teil der Verfügung über die formellen Ausstandsgründe. Der Beschwerdeführer forderte mit Schreiben vom 6. Oktober 2008 die IV-Stelle auf, über den gesetzlichen Ausstandsgrund der Befangenheit von Dr. med. H._ zu verfügen. Die Verwaltung war somit zur Verfügung verpflichtet, auch wenn sie der Auffassung war, die geltend gemachten Einwendungen gegen den psychiatrischen Gutachter seien materieller Natur und darüber sei erst mit dem Entscheid in der Sache zu befinden. Die IV-Stelle kam der Aufforderung innert der vom Beschwerdeführer angegebenen Frist von 10 Tagen nicht nach, weshalb dieser am 30. Oktober 2008 Rechtsverweigerungsbeschwerde erhob.
4.2 Das Verhalten der IV-Stelle als Rechtsverweigerung im Sinne von <ref-law> zu qualifizieren, liefe dem anzustrebenden Ziel zuwider, das Abklärungsverfahren nicht unnötigerweise zu formalisieren und zu verkomplizieren und dadurch in die Länge zu ziehen (<ref-ruling> E. 7.4 S. 449; <ref-ruling> E. 5.2.9 und 6.5 in fine S. 105 ff.). Eine Rechtsverweigerungsbeschwerde ist immer auf die gerichtliche Feststellung einer Rechtsverweigerung gerichtet verbunden mit der Anweisung an die zuständige Stelle, innert nützlicher Frist zu entscheiden. Die Frage, ob die Einwendungen gegen die sachverständige Person formeller Natur sind und darüber mit einer selbständig anfechtbaren Verfügung vorab zu befinden ist oder nicht, bleibt offen (vgl. <ref-ruling> E. 2b in fine S. 121). Es kommt dazu, dass der oder die Versicherte ein Interesse daran hat, dass darüber möglichst frühzeitig entschieden wird, wie sie umgekehrt die Verletzung von Ausstandsgründen zu rügen hat, sobald sie von solchen Kenntnis erlangt hat (<ref-ruling> E. 6.2 S. 106, 376 E. 2.7 S. 379). Dies spricht dafür, entweder dem Schreiben der IV-Stelle vom 1. Oktober 2008 Verfügungscharakter beizumessen, oder ein direktes Beschwerderecht des Versicherten zu bejahen (vgl. E. 2.1). Welcher Variante der Vorzug zu geben ist, kann offenbleiben. Die Eingabe vom 30. Oktober 2008 kann in jedem Fall als rechtzeitig erhobene Beschwerde im Sinne von <ref-law> aufgefasst werden. Sie wurde zwar als Rechtsverweigerungsbeschwerde bezeichnet, genügte aber den (minimalen) Anforderungen an Antrag und Begründung einer Beschwerde (vgl. <ref-law> und <ref-ruling>). Insbesondere ergab sich daraus der klare Wille, die von der IV-Stelle verneinte formelle Natur der Einwendungen (Ausstands- und Ablehnungsgründe nach <ref-law>) gegen den psychiatrischen Gutachter Dr. med. H._ gerichtlich beurteilen zu lassen (vgl. Urteil 9C_867/2008 vom 6. April 2009 E. 7.2.2). Die Eingabe vom 30. Oktober 2008 erfolgte sodann innerhalb der für Beschwerden gegen Verfügungen oder Einspracheentscheide im Bereich des Bundessozialversicherungsrechts geltenden Frist von 30 Tagen (<ref-law>) seit dem Schreiben der IV-Stelle vom 1. Oktober 2008. Die Vorinstanz hätte somit darauf eintreten und prüfen müssen, ob es sich bei den geltend gemachten Einwendungen um gesetzliche Ausstands- oder Ablehnungsgründe handelt und gegebenenfalls ob sie stichhaltig sind. Dies wird sie nachzuholen haben. Die Beschwerde ist begründet.
5. Dem Ausgang des Verfahrens entsprechend hat die IV-Stelle die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Bern vom 20. Januar 2009 aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie über die (formelle oder materielle) Natur der Einwendungen des Beschwerdeführers gegen Dr. med. H._ und allenfalls deren Begründetheit entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Bern auferlegt.
3. Die IV-Stelle Bern hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Juni 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler