Sachverhalt: A. Mit Verfügung vom 2. Februar 2011 verneinte die IV-Stelle des Kantons Zürich den Anspruch des M._ auf eine Rente der Invalidenversicherung. B. Auf die hiegegen erhobene Beschwerde des anwaltlich vertretenen M._ trat das Sozialversicherungsgericht des Kantons Zürich mit Beschluss vom 25. März 2011 aus formellen Gründen nicht ein. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Beschluss vom 25. März 2011 sei aufzuheben und das kantonale Sozialversicherungsgericht zu verpflichten, seinem Rechtsvertreter eine angemessene Frist zur Begründung des "Rekurses" anzusetzen. Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.