Sachverhalt: A. Der 1956 geborene A._ meldete sich im April 2002 ein zweites Mal bei der Invalidenversicherung an und ersuchte u.a. um eine Rente. Im Rahmen der Abklärung der gesundheitlichen Verhältnisse liess die IV-Stelle Bern den Gesuchsteller u.a. durch Dr. med. X._, Facharzt für Psychiatrie und Psychotherapie FMH, untersuchen und begutachten. Mit Verfügung vom 16. September 2004 und Einspracheentscheid vom 10. Februar 2005 verneinte die IV-Stelle den Anspruch auf eine Invalidenrente, was die I. sozialrechtliche Abteilung des Bundesgerichts mit Urteil I 18/06 vom 1. Februar 2007 letztinstanzlich bestätigte. Im Dezember 2007 meldete sich A._ erneut bei der Invalidenversicherung an und beantragte eine Rente. Mit Vorbescheid vom 16. Mai 2008 teilte ihm die IV-Stelle Bern mit, das Leistungsbegehren müsse abgelehnt werden. Dagegen liess der Versicherte Einwendungen erheben. Nach Rücksprache mit dem regionalen ärztlichen Dienst teilte die IV-Stelle A._ mit, sie beabsichtige, u.a. bei Dr. med. X._ eine Untersuchung anzuordnen, was der Versicherte jedoch ablehnte. Dem Ersuchen von A._, eine anfechtbare Verfügung zu erlassen und darin zu dem auch gegen Dr. med. X._ geltend gemachten Ausstandsgrund der Befangenheit Stellung zu nehmen, kam die IV-Stelle nicht innert der ihr hiefür gesetzten Frist nach. B. Am 30 Oktober 2008 liess A._ Rechtsverweigerungsbeschwerde erheben, welche das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 20. Januar 2009 abwies. In Gutheissung der hiegegen erhobenen Beschwerde in öffentlich-rechtlichen Angelegenheiten hob das Bundesgericht, II. sozialrechtliche Abteilung, dieses Erkenntnis auf und wies die Sache an das kantonale Gericht zurück, damit es über die (formelle oder materielle) Natur der Einwendungen gegen Dr. med. X._ und allenfalls deren Begründetheit entscheide (Urteil 9C_199/2009 vom 9. Juni 2009). Nach Durchführung eines Schriftenwechsels wies die Sozialversicherungsrechtliche Abteilung des Verwaltungsgerichts des Kantons Bern die Beschwerde mangels Stichhaltigkeit der in Bezug auf Dr. med. X._ geltend gemachten Befangenheitsgründe ab (Entscheid vom 15. September 2009). C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 15. September 2009 sei aufzuheben und die IV-Stelle anzuweisen, von der Begutachtung durch Dr. med. X._ wegen Befangenheit abzusehen. Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Gericht enthält sich einer Stellungnahme und stellt keinen Antrag zur Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.