Sachverhalt:
A. Der 1956 geborene A._ meldete sich im April 2002 ein zweites Mal bei der Invalidenversicherung an und ersuchte u.a. um eine Rente. Im Rahmen der Abklärung der gesundheitlichen Verhältnisse liess die IV-Stelle Bern den Gesuchsteller u.a. durch Dr. med. X._, Facharzt für Psychiatrie und Psychotherapie FMH, untersuchen und begutachten. Mit Verfügung vom 16. September 2004 und Einspracheentscheid vom 10. Februar 2005 verneinte die IV-Stelle den Anspruch auf eine Invalidenrente, was die I. sozialrechtliche Abteilung des Bundesgerichts mit Urteil I 18/06 vom 1. Februar 2007 letztinstanzlich bestätigte.
Im Dezember 2007 meldete sich A._ erneut bei der Invalidenversicherung an und beantragte eine Rente. Mit Vorbescheid vom 16. Mai 2008 teilte ihm die IV-Stelle Bern mit, das Leistungsbegehren müsse abgelehnt werden. Dagegen liess der Versicherte Einwendungen erheben. Nach Rücksprache mit dem regionalen ärztlichen Dienst teilte die IV-Stelle A._ mit, sie beabsichtige, u.a. bei Dr. med. X._ eine Untersuchung anzuordnen, was der Versicherte jedoch ablehnte. Dem Ersuchen von A._, eine anfechtbare Verfügung zu erlassen und darin zu dem auch gegen Dr. med. X._ geltend gemachten Ausstandsgrund der Befangenheit Stellung zu nehmen, kam die IV-Stelle nicht innert der ihr hiefür gesetzten Frist nach.
B. Am 30 Oktober 2008 liess A._ Rechtsverweigerungsbeschwerde erheben, welche das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 20. Januar 2009 abwies. In Gutheissung der hiegegen erhobenen Beschwerde in öffentlich-rechtlichen Angelegenheiten hob das Bundesgericht, II. sozialrechtliche Abteilung, dieses Erkenntnis auf und wies die Sache an das kantonale Gericht zurück, damit es über die (formelle oder materielle) Natur der Einwendungen gegen Dr. med. X._ und allenfalls deren Begründetheit entscheide (Urteil 9C_199/2009 vom 9. Juni 2009).
Nach Durchführung eines Schriftenwechsels wies die Sozialversicherungsrechtliche Abteilung des Verwaltungsgerichts des Kantons Bern die Beschwerde mangels Stichhaltigkeit der in Bezug auf Dr. med. X._ geltend gemachten Befangenheitsgründe ab (Entscheid vom 15. September 2009).
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 15. September 2009 sei aufzuheben und die IV-Stelle anzuweisen, von der Begutachtung durch Dr. med. X._ wegen Befangenheit abzusehen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Gericht enthält sich einer Stellungnahme und stellt keinen Antrag zur Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Muss die IV-Stelle zur Abklärung des Sachverhaltes ein Gutachten einer oder eines unabhängigen Sachverständigen einholen, gibt sie der Partei deren oder dessen Namen bekannt. Diese kann den Gutachter aus triftigen Gründen ablehnen und kann Gegenvorschläge machen (<ref-law> in Verbindung mit <ref-law> und <ref-law>).
1.1 Für Sachverständige gelten grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind. Danach ist Befangenheit anzunehmen, wenn Umstände vorliegen, die in objektiver Weise und nicht bloss auf Grund des subjektiven Empfindens der Partei geeignet sind, Misstrauen in die Unparteilichkeit und Unvoreingenommenheit der sachverständigen Person zu erwecken (<ref-ruling> E. 7.1 S. 109 mit Hinweis).
1.2 Im Hinblick auf die erhebliche Bedeutung, welche medizinischen Gutachten im Sozialversicherungsrecht zukommt, ist an die Unparteilichkeit der begutachtenden Ärzte ein strenger Massstab anzulegen (<ref-ruling> E. 7.1 S. 110; <ref-ruling> E. 3b in fine S. 367 mit Hinweisen).
1.2.1 Ein Sachverständiger gilt jedoch nicht schon deshalb als voreingenommen, wenn er sich schon einmal mit der zu begutachtenden Person befasst hatte und dabei zu für sie ungünstigen Schlussfolgerungen gelangt war (<ref-ruling> E. 7.2.2 S. 110 mit Hinweis). Entscheidend ist, dass das Ergebnis der Abklärung nach wie vor als offen und nicht vorbestimmt erscheint (<ref-ruling> E. 3b S. 184; SVR 2009 IV Nr. 16, 8C_89/2007 E. 6.2).
Der Beschwerdeführer bringt zu Recht nicht vor, Dr. med. X._ erwecke bereits deshalb den Anschein von Befangenheit, weil dieser ihn bereits im Sommer 2004 begutachtet und damals eine psychisch bedingte Arbeitsunfähigkeit verneint hatte.
1.2.2 Das Expertenverhalten während der Exploration kann objektiv den Anschein von Befangenheit erwecken. Zu denken ist etwa an Äusserungen, welche die Glaubhaftigkeit der Angaben des Exploranden oder der Explorandin zum Gesundheitszustand und zur Selbsteinschätzung der Arbeitsfähigkeit von vornherein mehr oder weniger offen verneinen, abschätzige Bemerkungen persönlicher Natur oder unter Umständen die Art und Weise, wie die Untersuchung durchgeführt wird und in diesem Zusammenhang auch die Dauer der Massnahme (Urteil des Eidg. Versicherungsgerichts U 44/04 vom 26. November 2004 E. 4.2). Die Objektivität der Beurteilung steht auch in Frage, wenn die begutachtende Person von weitgehend sachfremden Kriterien auf Aspekte des Gesundheitszustandes schliesst, welche für die zumutbare Arbeitsfähigkeit von Bedeutung sind (SVR 2007 UV Nr. 26, U 339/06 E. 3.2; vgl. auch BGE <ref-ruling> E. 3b S. 365 ff.). Schliesslich kann die Abfassung einer medizinischen Expertise in beleidigendem Ton oder sonst auf unsachliche Art und Weise objektiv Zweifel an der Unvoreingenommenheit der sachverständigen Person wecken (Urteil 1P.204/1992 vom 21. Oktober 1992 E. 4a).
Für die Frage, ob bestimmte Äusserungen oder das Verhalten des Experten oder der Expertin objektiv den Anschein der Befangenheit zu erwecken vermögen, kann allenfalls auch von Bedeutung sein, ob das Verhältnis zwischen der sachverständigen und der zu explorierenden Person angespannt war, ohne dass Anhaltspunkte für ein negatives unkooperatives Verhalten seitens der abzuklärenden Person bestand (vgl. SVR 2007 UV Nr. 26, U 339/06 E. 3.2). Der Umstand, dass ein insbesondere im therapeutischen Kontext wichtiges Vertrauensverhältnis zwischen begutachtendem Arzt und Patient nicht hergestellt werden konnte, lässt jedoch nicht auf Voreingenommenheit schliessen.
1.3 Ob bei einer gegebenen Sachlage auf die Voreingenommenheit des Sachverständigen zu schliessen ist, stellt eine vom Bundesgericht frei prüfbare Rechtsfrage dar (<ref-law>; Urteile 8C_802/2007 vom 5. Mai 2008 E. 4 und 9C_846/2007 vom 11. März 2008 E. 4).
2. 2.1 Im Urteil I 18/06 vom 1. Februar 2007 verneinte die I. sozialrechtliche Abteilung des Bundesgerichts den Beweiswert des Gutachtens des Dr. med. X._ vom August 2004. Zahlreiche Sachverhaltsdetails würden angegeben, die im deutlichen Widerspruch zu den Akten stünden. Unter anderem werde die Anamnese nicht detailliert wiedergegeben, weshalb es nicht möglich sei zu überprüfen, ob diese zur Kenntnis genommen worden sei. Entscheidend sei dabei der Irrtum des Gutachters über die Erwerbstätigkeit des Beschwerdeführers nach der Diskushernienoperation. Er gebe an, die Arbeit sei erst 1999 niedergelegt worden. In Wirklichkeit habe der Versicherte seit 1994 nicht mehr gearbeitet. Ebenfalls lägen in Bezug auf den Unfall der Ehefrau und dessen Auswirkungen auf die Arbeitsfähigkeit offenbar Irrtümer vor. Diese riefen hinsichtlich der Qualität der Expertise Fragen auf. Zudem sei das Gutachten für die streitigen Belange weder umfassend noch leuchteten die Beurteilung der medizinischen Zusammenhänge und die daraus getroffenen Schlussfolgerungen ein, weil sie nicht begründet seien. Das treffe vor allem auf die Aussage des Dr. med. X._ zu, seines Erachtens sei die Somatisierungsstörung zwar vorhanden, jedoch noch milde ausgeprägt und nicht chronifiziert. Dies stehe im Widerspruch dazu, dass alle anderen involvierten Ärzte von einem seit Jahren chronifizierten lumbalen Schmerzsyndrom ohne somatische Ursache berichteten. Schliesslich fehle es auch an begründeten Angaben darüber, inwiefern die psychischen Ressourcen es dem Beschwerdeführer gestatteten, mit seinen Schmerzen umzugehen.
In seiner Stellungnahme vom 29. April 2005 zu den Vorhaltungen des Rechtsvertreters des Versicherten gegen die Expertise vom August 2004 führte Dr. X._ u.a. aus, die angeblichen Widersprüche seien an sich sekundär und führten nicht dazu, dass diagnostische Überlegungen deswegen neu gemacht werden müssten. Er gehe (implizit zufolge Fehlens einer hirnorganischen Störung) davon aus, dass wegen mangelnder Kooperation des Versicherten divergierende Angaben gemacht worden seien.
2.2 Nach Auffassung der Vorinstanz kann aus dem materiell ungenügenden Gutachten des Dr. med. X._ vom August 2004 und seiner als wenig geglückt zu bezeichnenden Verteidigung der Expertise in der Stellungnahme vom 29. April 2005 weder auf damalige noch künftige Befangenheit geschlossen werden. Der Experte habe fehlerhaft gearbeitet. In Bezug auf die Kritik des Bundesgerichts könne nicht von einem Blossstellen gesprochen werden. Dr. med. X._ müsse zur Kenntnis nehmen und auch akzeptieren, dass seine Begutachtung im konkreten Fall nicht zu überzeugen vermocht habe.
2.2 Nach Auffassung der Vorinstanz kann aus dem materiell ungenügenden Gutachten des Dr. med. X._ vom August 2004 und seiner als wenig geglückt zu bezeichnenden Verteidigung der Expertise in der Stellungnahme vom 29. April 2005 weder auf damalige noch künftige Befangenheit geschlossen werden. Der Experte habe fehlerhaft gearbeitet. In Bezug auf die Kritik des Bundesgerichts könne nicht von einem Blossstellen gesprochen werden. Dr. med. X._ müsse zur Kenntnis nehmen und auch akzeptieren, dass seine Begutachtung im konkreten Fall nicht zu überzeugen vermocht habe.
2.3 2.3.1 Die Beanstandungen des Bundesgerichts wiegen nicht leicht. Sie legen eine unsorgfältige Arbeitsweise des Gutachters offen, welchem seine Irrtümer sofort hätten auffallen müssen, wenn er bloss die medizinischen Berichte und den Abklärungsbericht der Beruflichen Abklärungsstelle aufmerksam gelesen hätte, mithin jene Aktenteile, welche für eine psychiatrische Begutachtung von zentraler Bedeutung sind, wie der Beschwerdeführer insoweit zu Recht vorbringt. Auch wenn nicht gesagt werden kann, die bundesgerichtliche Kritik sei geradezu blossstellend, stellt sie dem Experten zumindest kein gutes Zeugnis aus. Dessen Sachkunde steht im Übrigen ausser Frage (vgl. Urteil 1P.553/1999 vom 30. November 1999 E. 2b, wonach das Fehlen der erforderlichen Sachkunde die Frage der Beweiswürdigung beschlägt und daher materieller, nicht formeller Natur ist).
2.3.2 Die Stellungnahme des Dr. med. X._ vom 29. April 2005 sodann kann im Kontext nicht bloss als wenig geglückte Verteidigung seines Gutachtens vom August 2004 bezeichnet werden. Der Versuch des Experten, die Gründe für die Ungereimtheiten (zunächst) ausserhalb seiner Person zu suchen, kann zwar nicht als grundsätzliche Kritikunfähigkeit oder sogar als Unvermögen, Fehler einzusehen, betrachtet werden. Der Umstand, dass der Gutachter die Ursache hiefür im unkooperativen Verhalten des Exploranden sah, weckt indessen objektiv Zweifel an seiner Unvoreingenommenheit im Hinblick auf eine weitere Begutachtung. Er machte den Exploranden für Fehler verantwortlich, die dieser gar nicht machen konnte. Allfällige widersprüchliche Angaben hätten spätestens beim Studium der wichtigsten Akten entdeckt werden können, wie der Beschwerdeführer zu Recht vorbringt. Die in der Stellungnahme vom 29. April 2005 erwähnte mangelnde Kooperation des Exploranden kann nicht etwa bloss als ungeschickte Äusserung aufgefasst werden, welche objektiv nicht den Anschein von Befangenheit zu erwecken vermöchte (vgl. Urteil 6B_299/ 2007 vom 11. Oktober 2007 E. 5.1.2 und 5.2.1). Es kommt dazu, dass in der Expertise vom August 2004 nicht die geringsten Anhaltspunkte für ein unkooperatives Verhalten des Versicherten zu finden sind. Mit diesem nachgeschobenen, unbelegten Vorwurf hat der Gutachter selber eine mögliche weitere Begutachtung in Frage gestellt. Es ist denn auch unwahrscheinlich, dass zwischen Experten und Exploranden noch ein für die psychiatrische Abklärung notwendiges Vertrauensverhältnis entstehen könnte.
Unter den gegebenen Umständen muss Dr. med. X._ objektiv betrachtet als befangen gelten. Er fällt damit als versicherungsexterner Gutachter für die von der IV-Stelle als notwendig erachtete psychiatrische Abklärung ausser Betracht. Der anders lautende vorinstanzliche Entscheid verletzt Bundesrecht.
3. Dem Ausgang des Verfahrens entsprechend hat die IV-Stelle die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 15. September 2009 wird aufgehoben und es wird festgestellt, dass Dr. med. X._ im Hinblick auf die in Aussicht genommene Begutachtung des Beschwerdeführers als befangen zu gelten hat.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Bern auferlegt.
3. Die IV-Stelle Bern hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, hat die Parteientschädigung für das vorangegangene Verfahren festzusetzen
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. Dezember 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler