Sachverhalt:
A. Mit Verfügung vom 2. Februar 2011 verneinte die IV-Stelle des Kantons Zürich den Anspruch des M._ auf eine Rente der Invalidenversicherung.
B. Auf die hiegegen erhobene Beschwerde des anwaltlich vertretenen M._ trat das Sozialversicherungsgericht des Kantons Zürich mit Beschluss vom 25. März 2011 aus formellen Gründen nicht ein.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Beschluss vom 25. März 2011 sei aufzuheben und das kantonale Sozialversicherungsgericht zu verpflichten, seinem Rechtsvertreter eine angemessene Frist zur Begründung des "Rekurses" anzusetzen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Nach <ref-law> muss die Beschwerde eine gedrängte Darstellung des Sachverhalts, ein Rechtsbegehren und eine kurze Begründung enthalten. Genügt sie diesen Anforderungen nicht, so setzt das Versicherungsgericht der Beschwerde führenden Person eine angemessene Frist zur Verbesserung und verbindet damit die Androhung, dass sonst auf die Beschwerde nicht eingetreten wird.
In <ref-ruling> E. 5.2 S. 168 hat das Bundesgericht in Präzisierung seiner Rechtsprechung entschieden, dass in der Regel auch bei anwaltlicher Vertretung eine Nachfrist zur Verbesserung im Sinne von <ref-law> anzusetzen ist, wenn aufgrund der Sachlage eine rechtsgenügliche Beschwerdebegründung praktisch nicht ohne Aktenkenntnis möglich ist, die rechtsunkundige Partei, welche selber die Akten nicht besitzt, in gutem Glauben erst kurz vor Ablauf der Beschwerdefrist einen Rechtsvertreter mandatiert, und diesem weder eine rechtzeitige Aktenbeschaffung noch eine sonstige hinreichende Beurteilung des Sachverhalts (z.B. aufgrund eines Instruktionsgesprächs mit dem Klienten) möglich ist. In solchen Fällen muss es als genügend betrachtet werden, wenn der Rechtsvertreter unverzüglich die Akten einholt und nach deren Eingang die innert Frist vorsorglich eingereichte Beschwerde mit einer Begründung ergänzt.
2. 2.1 Es ist unbestritten, dass die am letzten Tag der Frist zur Anfechtung der Verfügung vom 2. Februar 2011 (<ref-law>) erhobene Beschwerde vom 7. März 2011 den Anforderungen an die Begründung nach <ref-law> nicht genügte. Darin führte der Rechtsvertreter des Versicherten u.a. aus: "Ich wurde vom Beschwerdeführer erst am 01.03.2011 mandatiert. In den wenigen Tagen bis zum Ablauf der Beschwerdefrist am 07.03.2011 fehlte mir die Zeit, mich in die wesentlichen Akten einzuarbeiten. Ich ersuche Sie deshalb um Ansetzung einer Frist von 30 Tagen, um die vorliegende Beschwerde im Einzelnen zu begründen."
Die Vorinstanz hat diesem Begehren nicht stattgegeben, dies im Wesentlichen mit der Begründung, dem Rechtsvertreter des Versicherten seien die Akten im Zeitpunkt der Mandatierung am 1. März 2011 und bis zum Ablauf der Beschwerdefrist zur Verfügung gestanden. Es seien ihm somit vier volle Arbeitstage verblieben, was objektiv betrachtet für die Einarbeitung in die Akten sowie die Ausarbeitung und Begründung der Beschwerde ausgereicht habe. Er mache im Ergebnis Umstände geltend, die ausschliesslich in seiner Person lägen, wie etwa eine Überlastung mit Mandaten und daraus sich ergebende fehlende Zeit, was vom Schutzgedanken der Nachfrist von <ref-law> jedoch nicht umfasst sei.
2.2 Der Beschwerdeführer bestreitet die vorinstanzliche Interpretation, weil sie auf der unzutreffenden Annahme beruhe, seinem Rechtsvertreter hätten die Akten bereits im Zeitpunkt der Mandatierung, spätestens aber bei Einreichung der Beschwerdeanträge am 7. März 2011 vorgelegen. Sein Anwalt sei einzig im Besitz der Verfügung vom 2. Februar 2011 gewesen, weshalb er mit Schreiben vom 3. März 2011 bei der IV-Stelle die Akten angefordert habe.
2.2 Der Beschwerdeführer bestreitet die vorinstanzliche Interpretation, weil sie auf der unzutreffenden Annahme beruhe, seinem Rechtsvertreter hätten die Akten bereits im Zeitpunkt der Mandatierung, spätestens aber bei Einreichung der Beschwerdeanträge am 7. März 2011 vorgelegen. Sein Anwalt sei einzig im Besitz der Verfügung vom 2. Februar 2011 gewesen, weshalb er mit Schreiben vom 3. März 2011 bei der IV-Stelle die Akten angefordert habe.
2.3 2.3.1 Die vertrauenstheoretische Auslegung einer Rechtsschrift bestimmt sich gleich wie die Auslegung einer rechtsgeschäftlichen Willenserklärung nach Bundesrecht, wobei darauf abzustellen ist, wie die zur Diskussion Anlass gebenden Vorbringen nach Treu und Glauben verstanden werden mussten (Urteil 4C.180/2002 vom 26. August 2002 E. 1.3).
2.3.2 Die Vorinstanz durfte aus dem fraglichen Passus in der Eingabe vom 7. März 2011: "In den wenigen Tagen bis zum Ablauf der Beschwerdefrist (...) fehlte mir die Zeit, mich in die wesentlichen Akten einzuarbeiten", in guten Treuen schliessen, der Rechtsvertreter des Versicherten habe schon über die Akten verfügt. Dass dem zumindest in Bezug auf die medizinischen Akten seit 2008 nicht so war, wie die erst im letztinstanzlichen Verfahren eingereichten und daher an sich unzulässigen (<ref-law>) Dokumente zeigen, ändert nichts daran.
Die - zu Unrecht beanstandete - vorinstanzliche Interpretation beruht auch nicht auf einem in Verletzung des Untersuchungsgrundsatzes unvollständig festgestellten Sachverhalt (<ref-law>). Vielmehr wäre der Beschwerdeführer aufgrund seiner gesetzlichen Mitwirkungspflicht gehalten gewesen, das Schreiben an die IV-Stelle vom 3. März 2011, in welchem er um Edition der medizinischen Akten seit 2008 ersuchte, der Vorinstanz einzureichen und auch die Zustellung der Akten (in Kopie) am 16. März 2011 mitzuteilen, nachdem er bis zu diesem Zeitpunkt noch nichts vom Gericht gehört hatte. Die vorinstanzlich abgelehnte Ansetzung einer Nachfrist zur Verbesserung der Beschwerde vom 7. März 2011 verletzt daher Bundesrecht nicht.
3. Der Beschwerdeführer hat als unterliegende Partei die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. August 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler