Sachverhalt: A. Der 1982 geborene K._ beendete am 30. November 2008 sein Studium und erlangte am 22. Januar 2009 das Diplom als Master of Science ETH. Vom 8. Dezember 2008 bis 15. März 2009 leistete er Zivildienst und wurde dafür mit dem Minimalansatz von Fr. 54.- resp. ab Januar 2009 Fr. 62.- pro Tag entschädigt. Die Ausgleichskasse des Kantons Zürich bestätigte diese Ansätze mit Verfügung vom 6. April 2010, woran sie mit Einspracheentscheid vom 17. Mai 2010 festhielt. B. Die Beschwerde des K._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. Dezember 2010 ab. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des Entscheids vom 16. Dezember 2010 seien die Tagesansätze der EO-Entschädigung auf Basis des branchenüblichen Anfangslohnes festzusetzen. Die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) beantragen die Abweisung der Beschwerde. Das kantonale Gericht verzichtet auf eine Vernehmlassung. D. In einem vom Bundesgericht angeordneten zweiten Schriftenwechsel äusserten sich die Parteien zur Frage nach der Anwendbarkeit von Art. 9 Abs. 3 EOG (SR 834.1) resp. der Absolvierung einer Rekrutenschule.