Faits:
A. A.a Le 4 juillet 1994, H._ et R._ ont fondé X._ Sàrl, avec siège à G._. La société était affiliée auprès de la Caisse interprofessionnelle AVS de la Fédération des entreprises romandes (ci-après: la caisse).
Par convention de cession du 31 mai 1996, H._ et R._ ont cédé la totalité de leurs parts sociales à C._. H._ s'est engagé, jusqu'au versement du montant de 150'000 fr., à gérer les affaires de la société et à garder l'exclusivité des relations avec la clientèle de la société. Par un avenant du 31 mai 1996 à la convention, il a été convenu que H._ resterait provisoirement inscrit au registre du commerce, en qualité d'associé gérant, jusqu'à l'expiration de la durée de 24 mois suivant la date de la convention et qu'il conserverait, pour ce faire, une part sociale de 8000 fr. inscrite au registre du commerce. Il recevrait par ailleurs une rémunération dégressive pendant cette période.
H._ a été inscrit au Registre du commerce, en qualité d'associé gérant, avec signature individuelle, du 4 juillet 1994 au 24 septembre 1996 pour une part de 10'000 fr. et du 25 septembre 1996 au 31 mai 2002 pour une part de 6000 fr. A partir du 1er juin 2002, il a été inscrit en qualité d'associé sans signature. R._ a figuré au registre du commerce en qualité d'associé gérant pour une part de 10'000 fr. avec signature individuelle, du 4 juillet 1994 au 24 septembre 1996, date à laquelle son inscription a été radiée. Inscrits au registre du commerce en qualité d'associés gérants dès le 24 septembre 1996 (pour une part respective de 11'000 fr. et de 3000 fr.), C._ et D._ (épouse C._) avaient chacun la signature individuelle.
A.b La faillite de la société a été prononcée le 20 juin 2005. Par décision du 2 novembre 2007, notifiée également à D._ et C._, la caisse a réclamé à H._, conjointement et solidairement avec les deux prénommés, la somme de 455'957 fr. 30 en réparation du dommage résultant du non-paiement des cotisations paritaires AVS/AI/APG/AC afférentes aux périodes du complément de l'année 2001, de février à août 2001, de décembre 2001, de février à novembre 2002, de février à décembre 2003, des cotisations au régime des allocations familiales afférentes aux périodes du complément de l'année 2002, de mars à octobre 2002, de février à décembre 2003, ainsi que des cotisations au régime de l'assurance-maternité afférentes aux périodes du complément de l'année 2001, de juillet à août 2001, de décembre 2001, de février à novembre 2002 et de février à décembre 2003, y compris les frais administratifs, les intérêts moratoires, les frais de poursuite et les taxes de sommation. H._ s'est opposé à cette décision, en invoquant notamment avoir été inscrit au registre du commerce en qualité d'associé gérant seulement jusqu'au 31 mai 2002. Par décision sur opposition du 26 octobre 2009, la caisse a partiellement admis l'opposition et retenu que la responsabilité de H._ ne pouvait être engagée pour le dommage dû au défaut de paiement des cotisations relatives à la période postérieure au mois de mai 2002; il a réduit à 114'396 fr. 15 le montant du dommage réclamé au prénommé.
B. H._ a déféré la décision sur opposition au Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui, Chambre des assurances sociales de la Cour de justice de la République et canton de Genève). Il a été débouté par jugement du 15 mars 2011.
C. Agissant par la voie du recours en matière de droit public, H._ demande au Tribunal fédéral principalement d'annuler le jugement cantonal; à titre subsidiaire, il demande "de retourner la procédure" à la Cour de justice genevoise. Il a par ailleurs requis l'octroi de l'effet suspensif à son recours, ce qui lui a été accordé par ordonnance du 29 juin 2011.
La caisse conclut au rejet du recours, tandis que C._ et D._ n'ont pas donné suite à l'invitation à se déterminer. De son côté, l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. 1.1 La IIe Cour de droit social du Tribunal fédéral est compétente pour statuer sur l'obligation de réparer le dommage au sens de l'<ref-law>, y compris lorsque celle-ci a trait à des cotisations non payées aux caisses d'allocations familiales et à l'assurance-maternité régies par le droit cantonal.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2. Le litige porte sur la responsabilité du recourant dans le préjudice subi par l'intimée aux conditions de l'art. 52 aLAVS (dans sa teneur en vigueur jusqu'au 31 décembre 2002, applicable en l'espèce) par la perte de cotisations paritaires afférentes aux périodes de février à août 2001, décembre 2001, du complément pour l'année 2001 et de février à avril 2002. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, si bien qu'il suffit d'y renvoyer.
3. 3.1 Dans un moyen tiré de la violation de l'art. 52 aLAVS et d'une constatation manifestement inexacte des faits pertinents, le recourant soutient tout d'abord que sa responsabilité au sens de cette disposition n'était pas engagée, puisqu'il n'avait pas qualité d'organe de la Sàrl. Il faisait partie de la société uniquement pour surveiller que le solde du prix de vente que C._ restait lui devoir (selon la convention de cession) allait lui être versé (alors qu'il n'a finalement pas été payé intégralement). Son rôle s'était limité à celui d'associé passif et il avait cessé toute activité dans la société dès 1997, n'ayant accompli aucun acte de gestion pour celle-ci.
3.2 Selon la jurisprudence, les personnes qui sont légalement ou formellement organes d'une personne morale entrent en principe toujours en considération en tant que responsables subsidiaires aux conditions de l'art. 52 aLAVS. Le Tribunal fédéral a ainsi reconnu la responsabilité non seulement des membres du conseil d'administration, mais également celle de l'organe de révision d'une société anonyme, du directeur d'une société anonyme disposant du droit de signature individuelle, du gérant d'une société à responsabilité limitée ainsi que du président, du directeur financier ou du gérant d'une association sportive (voir par ex. l'arrêt H 34/04 du 15 septembre 2004 consid. 5.3.1 et les références, in SVR 2005 AHV n° 7 p. 23).
Dans le cas d'une Sàrl, les gérants d'une Sàrl qui ont été formellement désignés en cette qualité, ainsi que les personnes qui exercent cette fonction en fait, sont soumis à des obligations de contrôle et de surveillance étendues, dont le non-respect peut engager leur responsabilité (<ref-law> en corrélation avec l'<ref-law>). Ils répondent selon les mêmes principes que les organes d'une société anonyme pour le dommage causé à une caisse de compensation ensuite du non-paiement de cotisations d'assurances sociales (<ref-ruling>; arrêt H 252/01 du 14 mai 2002, in VSI 2002 p. 176 s. consid. 3b et d).
3.3 Comme l'a constaté la juridiction cantonale, le recourant a été inscrit au Registre du commerce en tant qu'associé gérant, avec signature individuelle, du 4 juillet 1994 au 31 mai 2002. Dès lors qu'il a été formellement désigné en qualité d'associé gérant de la Sàrl durant la période mentionnée, il était organe de plein droit de X._ Sàrl et devait assumer les tâches prescrites par la loi.
Contrairement à la position d'associé simple, qui n'entraînait pas à elle seule des obligations de contrôle et de surveillance (art. 819 al. 1 aCO dans sa teneur en vigueur jusqu'au 31 décembre 2007), la qualité d'associé gérant impliquait en revanche des devoirs de contrôle et de surveillance étendus, dont celui du respect, par la Sàrl, des obligations de décompte et de paiement des cotisations des assurances sociales, conformément à la jurisprudence exposée ci-avant (supra consid. 3.1). Compte tenu de la qualité d'organe formel du recourant, ses griefs sont donc mal fondés, indépendamment du point de savoir s'il a participé effectivement ou non à la gestion de X._ Sàrl, et les règles sur la responsabilité des organes d'une Sàrl lui sont applicables.
4. 4.1 Le recourant conteste également toute négligence grave au sens de l'art. 52 aLAVS. Il reproche aux premiers juges d'avoir admis qu'il avait conservé une influence sur la marche des affaires jusqu'au 21 mai 2002, alors qu'il n'avait jamais représenté la Sàrl, ni géré celle-ci, ne gardant qu'un intérêt financier. Il soutient par ailleurs avoir à réitérées reprises effectué des démarches auprès des associés cessionnaires pour que les paiements soient honorés, en commençant par une réunion des 13 et 14 juin 2001, tenue à la suite d'un courrier que l'intimée lui avait adressé le 11 juin 2001 pour l'informer qu'il envisageait de déposer plainte pénale à son encontre pour soustraction de cotisations.
4.2 Ainsi que l'a exposé à juste titre la juridiction cantonale, il incombait au recourant, en sa qualité d'organe formel de la Sàrl de juillet 1994 à mai 2002, de veiller personnellement à ce que les cotisations paritaires afférentes aux salaires versés fussent effectivement payées à l'intimée, nonobstant le mode de répartition interne des tâches entre les trois associés gérants. L'associé gérant d'une Sàrl ne peut en effet se libérer de cette responsabilité en se bornant à soutenir qu'il n'exerçait plus, dans les faits, d'activité de gestion, car cela constitue déjà en soi un cas de négligence grave. Par analogie avec d'autres personnes morales, on rappellera que la jurisprudence s'est toujours montrée sévère, lorsqu'il s'est agi d'apprécier la responsabilité d'administrateurs qui alléguaient avoir été exclus de la gestion d'une société et qui s'étaient accommodés de ce fait sans autre forme de procès (cf. notamment arrêts H 88/90 du 25 mars 1992, in RCC 1992 pp. 268-269 consid. 7b, et H 311/87 du 29 septembre 1988, in RCC 1989 pp. 115-116 consid. 4; voir aussi le consid. 8.2 de l'arrêt H 259/03 du 22 décembre 2003 et le consid. 3.3 de l'arrêt H 219/03 du 11 novembre 2003).
En d'autres termes, l'ensemble des arguments exposés par le recourant pour tenter de démontrer qu'il ne participait plus à la gestion des affaires de la Sàrl depuis 1997 tombe à faux, puisque c'est précisément cette inaction qui constitue la violation de ses devoirs. En conservant formellement un mandat de gestion qu'il prétend n'avoir jamais assumé dans les faits, le recourant occupait une situation comparable à celle d'un homme de paille, qui se déclare prêt à assumer ou à conserver un mandat d'administrateur d'une société anonyme ou d'associé gérant d'une Sàrl, tout en sachant qu'il ne pourra (ou ne voudra) pas le remplir consciencieusement, et viole, en cela, son obligation de diligence (<ref-ruling> consid. 3b p. 200). En n'exerçant aucune surveillance, le recourant a donc commis une négligence qui doit, sous l'angle de l'art. 52 aLAVS, être qualifiée de grave (<ref-ruling> consid. 2b p. 3). Que l'intéressé ne soit pas en mesure d'exercer ses fonctions, parce que la personne morale est dirigée en fait par d'autres personnes, ou qu'il ait accepté son mandat dans le seul but, tel que le recourant l'expose, de sauvegarder un intérêt financier n'est pas un motif de suppression ou d'atténuation de la faute commise.
4.3 C'est en vain, par ailleurs, que le recourant affirme avoir entrepris les démarches nécessaires pour que les cotisations dues soient payées. De son propre aveu, le recourant n'est intervenu qu'à partir du mois de juin 2001, une fois informé par l'intimée des problèmes de trésorerie que rencontrait la Sàrl. A cet égard, la juridiction cantonale a constaté, de manière à lier le Tribunal fédéral (consid. 1.2 supra), que le recourant était resté passif jusqu'en juin 2001 pour trouver des arrangements concernant le paiement des cotisations et n'avait pris ensuite aucune mesure concrète pour tenter de redresser la situation. Par ailleurs, si le recourant avait correctement effectué son mandat, il aurait pu constater que les cotisations sociales étaient impayées ou payées avec du retard dès l'année 1998 et prendre les mesures qui s'imposaient ou alors démissionner immédiatement de ses fonctions, sans attendre finalement jusqu'au 21 mai 2002 pour ce faire.
Contrairement à ce qu'allègue le recourant, le fait de s'enquérir en juin 2001 (seulement) auprès des deux autres associés gérants du versement des prestations paritaires ne suffit pas pour le disculper. A ce moment-là, vu les poursuites engagées par l'intimée, il aurait été tenu de prendre des mesures concrètes pour s'assurer du paiement effectif des cotisations en retard, le seul fait de tenir des réunions entre associés gérants ou de "souhaite[r] rapidement et avec effet au 31 décembre 2001 démissionner du Conseil d'administration" ne constituant pas de telles mesures. Compte tenu de l'attitude passive du recourant, qui a manqué à son devoir de surveillance (cura in custodiendo), la juridiction cantonale a retenu à juste titre qu'il avait fait preuve d'une négligence grave.
5. Au regard de ce qui précède, le recourant ne peut rien tirer en sa faveur d'une violation alléguée de son droit d'être entendu et de la maxime inquisitoire (prévue à l'art. 61 let. c LPGA), lorsqu'il reproche encore à la juridiction cantonale de n'avoir pas donné suite à ses offres de preuve en instance cantonale, ni instruit les preuves nécessaires.
Le juge peut en effet renoncer à accomplir certains actes d'instruction sans que cela n'entraîne une violation du droit d'être entendu s'il est convaincu, en se fondant sur une appréciation consciencieuse des preuves (cf. <ref-ruling> consid. 3a p. 352), que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation (sur l'appréciation anticipée des preuves en général: <ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 2 p. 428). Or, les éléments de fait que le recourant entendait démontrer, respectivement au sujet desquels il critique le défaut d'instruction de la juridiction cantonale, n'étaient pas susceptibles de modifier la conviction des premiers juges. Ainsi, l'exécution de la convention de cession du 31 mai 1996, singulièrement le paiement du prix de vente en résultant, la nature des montants qu'il avait perçus de la Sàrl, l'absence d'activité au sein de la Sàrl, ainsi que les raisons pour lesquelles il avait accordé "des facilités de paiement" aux repreneurs de la Sàrl et pour lesquelles il avait oublié de faire modifier son inscription au registre du commerce avant mai 2002 constituent des circonstances qui ne sont pas déterminantes pour apprécier différemment les conditions de la responsabilité de l'associé gérant prévues par l'art. 52 aLAVS. Par exemple, en établissant que les sommes qui lui avaient été versées constituaient non pas une rémunération d'administrateur, mais le solde du prix de vente de la Sàrl ou qu'il avait oublié de requérir la modification de l'inscription au Registre du commerce parce que son attention avait été accaparée par de nouvelles activités, le recourant ne pourrait pas démontrer qu'il n'a pas manqué aux devoirs qui lui incombaient en sa qualité d'associé gérant de X._ Sàrl.
En conséquence, le recours se révèle mal fondé.
6. Vu l'issue du litige, les frais de justice sont mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 5000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à C._ et D._, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 3 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless