Sachverhalt: A. Der 1943 geborene C._ meldete sich im April 2000 bei der Invalidenversicherung an und beantragte eine Rente. Als Hauptbeschäftigungen gab er selbständiger Wirt und Dolmetscher an. Die IV-Stelle des Kantons St. Gallen klärte die gesundheitlichen und erwerblichen Verhältnisse ab. Vom 27. bis 31. Januar 2003 wurde C._ im medizinischen Zentrum X._ rheumatologisch, neurologisch und psychiatrisch untersucht. Nachdem sie eine erste und zweite Verfügung vom 2. Februar und 18. August 2004 auf Einsprache hin widerrufen und weitere Abklärungen vorgenommen hatte, verneinte die IV-Stelle mit Verfügung vom 21. April 2008 einen Rentenanspruch. B. Die Beschwerde des C._ wies das Versicherungsgericht des Kantons St. Gallen unter Berücksichtigung der von der IV-Stelle vernehmlassungsweise eingereichten Stellungnahme ihres Regionalen ärztlichen Dienstes (RAD) vom 6. November 2008 nach zweifachem Schriftenwechsel mit Entscheid vom 15. Mai 2009 ab. C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der Entscheid vom 15. Mai 2009 sei aufzuheben und ihm eine Invalidenrente basierend auf einem Invaliditätsgrad von 50 % ab wann rechtens, spätestens ab 1. Februar 2000 zuzusprechen, eventualiter die Sache an das kantonale Versicherungsgericht oder die IV-Stelle zur Vornahme weiterer Abklärungen und zu neuer Entscheidung zurückzuweisen. Die IV-Stelle beantragt die Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.