Sachverhalt: A. Die Firma X._ AG war seit ihrer Gründung im Jahr 2000 der Ausgleichskasse des Kantons Zürich als beitragspflichtige Arbeitgeberin angeschlossen und rechnete mit dieser die paritätischen Beiträge ab. B._ war seit Beginn und bis zur Auflösung der AG als Mitglied des Verwaltungsrats mit Einzelunterschrift im Handelsregister eingetragen. Am ... 2001 trat S._ als weiteres Mitglied dem Verwaltungsrat bei; er verfügte über Kollektivunterschrift zu zweien. Bis zu seinem Austritt am ... 2006 war B._ Präsident des Verwaltungsrats. Mit Verfügung vom ... 2007 eröffnete der Konkursrichter des Bezirksgerichts A._ den Konkurs über die Gesellschaft. Das Konkursverfahren wurde mit Verfügung vom ... 2008 für geschlossen erklärt und die Gesellschaft von Amtes wegen gelöscht. Gemäss Verlustausweis infolge Konkurses blieben Forderungen von Fr. 1'052'857.90 und gemäss Kontoauszug vom 11. November 2009 bundes- und kantonalrechtliche Sozialversicherungsbeiträge (einschliesslich Mahngebühren, Veranlagungs- und Betreibungskosten sowie Verzugszinsen) von Fr. 1'053'452.- ungedeckt. Mit Verfügungen vom 3. Juli 2008 verpflichtete die Ausgleichskasse B._ und S._ zur Leistung von Schadenersatz, B._ in der Höhe von Fr. 1'052'857.90 und S._ in der Höhe von Fr. 877'097.-, je solidarisch bis zum Betrag von Fr. 877'097.-. Die dagegen gerichteten Einsprachen hiess die Ausgleichskasse teilweise gut; sie reduzierte den von B._ zu leistenden Betrag auf Fr. 1'009'498.10 und den von S._ zu leistenden Betrag auf Fr. 875'380.35 (Entscheide vom 9. September 2009). B. Beschwerdeweise beantragten B._ und S._ (je separat), der jeweilige Einspracheentscheid sei aufzuheben und es sei festzustellen, dass sie nicht zur Leistung von Schadenersatz verpflichtet seien; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die beiden Verfahren und wies die Beschwerden mit Entscheid vom 17. Juni 2011 ab. C. B._ und S._ lassen Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der kantonale Entscheid sei aufzuheben und es sei feststellen, dass sie nicht zur Leistung von Schadenersatz verpflichtet seien. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Es sei ihnen ein angemessener Ersatz für die Parteikosten zuzusprechen, dies alles unter Kostenfolgen zu Lasten der Staatskasse. Weiter ersuchen sie darum, der Beschwerde die aufschiebende Wirkung zu erteilen. Die Ausgleichskasse verzichtet auf eine Vernehmlassung unter Hinweis auf ihre im kantonalen Verfahren eingereichte Stellungnahme und den vorinstanzlichen Entscheid. Das Bundesamt für Sozialversicherungen lässt sich nicht vernehmen. D. Mit Verfügung vom 12. Oktober 2011 hat die Instruktionsrichterin der Beschwerde die aufschiebende Wirkung zuerkannt.