Sachverhalt: A. Der 1945 geborene F._ meldete sich im März 2001 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich verneinte mit Verfügung vom 20. November 2001 einen Leistungsanspruch. Im Januar 2003 stellte der Versicherte erneut ein Leistungsgesuch. Nach Abklärungen und Durchführung von zwei Beschwerdeverfahren sprach ihm die IV-Stelle mit Verfügung vom 14. Januar 2008 vom 1. Februar bis 31. Dezember 2003 eine halbe Invalidenrente sowie ab 1. Januar 2004 eine Dreiviertelsrente zu bei einem Invaliditätsgrad von 64 %. Nach weiteren Untersuchungen und Durchführung des Vorbescheidverfahrens hob sie die Rente mit Verfügung vom 24. Juni 2009 auf das Ende des der Zustellung folgenden Monats auf. B. Die Beschwerde des F._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. Januar 2011 ab. C. F._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des Entscheids vom 14. Januar 2011 und der Verfügung vom 24. Juni 2009 sei die IV-Stelle zu verpflichten, ihm weiterhin eine Dreiviertelsrente zu gewähren. Die IV-Stelle schliesst auf Abweisung des Rechtsmittels. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.