Faits: A. A.a Le 4 juillet 1994, H._ et R._ ont fondé X._ Sàrl, avec siège à G._. La société était affiliée auprès de la Caisse interprofessionnelle AVS de la Fédération des entreprises romandes (ci-après: la caisse). Par convention de cession du 31 mai 1996, H._ et R._ ont cédé la totalité de leurs parts sociales à C._. H._ s'est engagé, jusqu'au versement du montant de 150'000 fr., à gérer les affaires de la société et à garder l'exclusivité des relations avec la clientèle de la société. Par un avenant du 31 mai 1996 à la convention, il a été convenu que H._ resterait provisoirement inscrit au registre du commerce, en qualité d'associé gérant, jusqu'à l'expiration de la durée de 24 mois suivant la date de la convention et qu'il conserverait, pour ce faire, une part sociale de 8000 fr. inscrite au registre du commerce. Il recevrait par ailleurs une rémunération dégressive pendant cette période. H._ a été inscrit au Registre du commerce, en qualité d'associé gérant, avec signature individuelle, du 4 juillet 1994 au 24 septembre 1996 pour une part de 10'000 fr. et du 25 septembre 1996 au 31 mai 2002 pour une part de 6000 fr. A partir du 1er juin 2002, il a été inscrit en qualité d'associé sans signature. R._ a figuré au registre du commerce en qualité d'associé gérant pour une part de 10'000 fr. avec signature individuelle, du 4 juillet 1994 au 24 septembre 1996, date à laquelle son inscription a été radiée. Inscrits au registre du commerce en qualité d'associés gérants dès le 24 septembre 1996 (pour une part respective de 11'000 fr. et de 3000 fr.), C._ et D._ (épouse C._) avaient chacun la signature individuelle. A.b La faillite de la société a été prononcée le 20 juin 2005. Par décision du 2 novembre 2007, notifiée également à D._ et C._, la caisse a réclamé à H._, conjointement et solidairement avec les deux prénommés, la somme de 455'957 fr. 30 en réparation du dommage résultant du non-paiement des cotisations paritaires AVS/AI/APG/AC afférentes aux périodes du complément de l'année 2001, de février à août 2001, de décembre 2001, de février à novembre 2002, de février à décembre 2003, des cotisations au régime des allocations familiales afférentes aux périodes du complément de l'année 2002, de mars à octobre 2002, de février à décembre 2003, ainsi que des cotisations au régime de l'assurance-maternité afférentes aux périodes du complément de l'année 2001, de juillet à août 2001, de décembre 2001, de février à novembre 2002 et de février à décembre 2003, y compris les frais administratifs, les intérêts moratoires, les frais de poursuite et les taxes de sommation. H._ s'est opposé à cette décision, en invoquant notamment avoir été inscrit au registre du commerce en qualité d'associé gérant seulement jusqu'au 31 mai 2002. Par décision sur opposition du 26 octobre 2009, la caisse a partiellement admis l'opposition et retenu que la responsabilité de H._ ne pouvait être engagée pour le dommage dû au défaut de paiement des cotisations relatives à la période postérieure au mois de mai 2002; il a réduit à 114'396 fr. 15 le montant du dommage réclamé au prénommé. B. H._ a déféré la décision sur opposition au Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui, Chambre des assurances sociales de la Cour de justice de la République et canton de Genève). Il a été débouté par jugement du 15 mars 2011. C. Agissant par la voie du recours en matière de droit public, H._ demande au Tribunal fédéral principalement d'annuler le jugement cantonal; à titre subsidiaire, il demande "de retourner la procédure" à la Cour de justice genevoise. Il a par ailleurs requis l'octroi de l'effet suspensif à son recours, ce qui lui a été accordé par ordonnance du 29 juin 2011. La caisse conclut au rejet du recours, tandis que C._ et D._ n'ont pas donné suite à l'invitation à se déterminer. De son côté, l'Office fédéral des assurances sociales a renoncé à se déterminer.