Sachverhalt: A. Der Schweizerische Baumeisterverband (SBV), die GBI Gewerkschaft Bau & Industrie (heute: Unia) sowie die Gewerkschaft SYNA schlossen am 12. November 2002 einen Gesamtarbeitsvertrag für den flexiblen Altersrücktritt im Bauhauptgewerbe (GAV FAR), mit dessen Vollzug die Stiftung für den flexiblen Altersrücktritt im Bauhauptgewerbe (Stiftung FAR) betraut ist. Durch Beschluss des Bundesrates vom 5. Juni 2003 wurde der GAV FAR teilweise allgemeinverbindlich erklärt. B. H._ führte bis 6. April 2010 als Einzelunternehmer eine Bauunternehmung, ohne dem SBV angeschlossen zu sein. Mit Schreiben vom 5. September 2007 forderte ihn die Stiftung FAR auf, "Lohnsummenmeldungen und Lohnbescheinigungen auszufüllen". Am 24. Oktober 2008 wurde ihm ein Zahlungsbefehl zugestellt betreffend eine Forderung von Fr. 100'000.- nebst Zins zu 5 % seit 1. Juli 2003 für "einmalige Eintrittsbeiträge sowie Arbeitnehmer- und Arbeitgeberbeiträge, geschuldet für die Zeit vom 1. Juli 2003 bis 31. Dezember 2007 gemäss GAV FAR und Reglement FAR". H._ entrichtete Beiträge für die Zeit ab 1. November 2007, bestritt aber für den vorangegangenen Zeitraum eine Beitragspflicht und verweigerte diesbezüglich auch Informationen betreffend Mitarbeiterzahl und Lohnsummen. Am 17. August 2009 erhob die Stiftung FAR Klage gegen H._ mit folgenden Anträgen: "1. Der Beklagte sei zu verpflichten, der Klägerin die folgenden Beträge zu bezahlen: a) Fr. 680.- für jeden am 1. Juli 2003 angestellten Mitarbeiter, der unter den persönlichen Geltungsbereich des GAV FAR fällt, nebst Zins zu 5 %; b) 5,66 % der AHV-pflichtigen Lohnsumme vom 1. Juli 2003 bis zum 31. Dezember 2004 jedes Mitarbeiters, der unter den persönlichen Geltungsbereich des GAV FAR fällt, nebst Zins zu 5 %; c) 5 % der AHV-pflichtigen Lohnsumme vom 1. Januar 2005 bis zum 31. Oktober 2007 jedes Mitarbeiters, der unter den persönlichen Geltungsbereich des GAV FAR fällt, nebst Zins zu 5 %. 2. Der Beklagte sei zu verpflichten, eine Liste aller Mitarbeiter seit dem 1. Juli 2003 bis zum 31. Dezember 2007 unter Angabe der Anstellungsdauer, der Funktion im Betrieb und der AHV-pflichtigen Lohnsumme vorzulegen. 3. Eventualiter seien die AHV-Lohnlisten und/oder die SUVA-Lohnlisten aller Mitarbeiter seit dem 1. Juli 2003 bis zum 31. Oktober 2007 bei der zuständigen Behörde edieren zu lassen. 4. Der Klägerin sei nach Vorlage der vorgenannten Listen Gelegenheit zu geben, das Rechtsbegehren in quantitativer Hinsicht zu präzisieren." Mit Entscheid vom 10. März 2011 hiess das Sozialversicherungsgericht des Kantons Zürich die Klage in dem Sinne gut, als es H._ verpflichtete, Beiträge gemäss Antrag Ziff. 1 zu bezahlen. Im Übrigen trat es auf die Klage nicht ein. C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, der Entscheid vom 10. März 2011 sei aufzuheben und die Klage der Stiftung FAR abzuweisen. Ferner beantragt er, eine mündliche Parteiverhandlung und Urteilsberatung durchzuführen. Die Stiftung FAR und das Bundesamt für Sozialversicherungen schliessen auf Abweisung der Beschwerde. Das kantonale Gericht verzichtet auf eine Stellungnahme.