Faits :
A.
Selon le Registre du commerce de Genève, A._, C._, A.B._ et B.B._ étaient administrateurs de la société D._ SA, les deux premiers cités depuis le 17 septembre 2010 et le couple A.B._ et B.B._ depuis le 14 avril 2009. La société était affiliée en tant qu'employeur pour le paiement des cotisations en matière d'assurance-vieillesse (AVS), d'assurance-invalidité (AI), d'allocations pour perte de gain (APG), d'assurance-chômage (AC), d'allocations familiales de droit cantonal (AF) et d'allocations cantonales en cas de maternité (AMat) auprès de la Caisse interprofessionnelle AVS de la Fédération des Entreprises Romandes (FER CIAM 106.1; ci-après: la caisse de compensation). Elle a été déclarée en faillite le 26 novembre 2015.
La société n'ayant pas payé la totalité des cotisations sociales pour la période de janvier 2014 à mai 2015, la caisse de compensation a produit sa créance dans la faillite. N'ayant pas été désintéressée, elle a, par décisions séparées du 27 février 2018, réclamé réparation de son dommage aux quatre administrateurs. Le 8 mars 2018, elle a rendu une décision de sursis au paiement en faveur de A._ jusqu'au 28 février 2019 portant sur la part pénale des cotisations sociales.
Saisie d'une opposition par le prénommé, la caisse de compensation l'a rejetée et réclamé le paiement du montant de son dommage, fixé à 124'120 fr. 75, correspondant aux cotisations sociales paritaires AVS/AI/APG/AC et assurance-maternité impayées des périodes de janvier, juin à décembre 2014 et de janvier à mai 2015, ainsi qu'aux cotisations dues au régime des allocations familiales de juin à décembre 2014 et de janvier à mai 2015, y compris les frais et intérêts moratoires (décision sur opposition du 12 septembre 2019).
B.
Statuant le 10 novembre 2020, la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, a très partiellement admis le recours formé par A._ dans le sens des considérants, annulé la décision sur opposition du 12 septembre 2019 et renvoyé la cause à la caisse de compensation pour nouveau calcul du dommage excluant les cotisations impayées découlant de la loi cantonale genevoise du 21 avril 2005 instituant une assurance en cas de maternité et d'adoption (LAMat; rs/GE J 5 07), les intérêts moratoires et frais administratifs afférents à ces montants, et nouvelle décision sur ce point.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'annulation de la décision sur opposition du 12 septembre 2019, de la décision du 27 février 2018 et de la décision de sursis au paiement du 8 mars 2018, ainsi qu'au renvoi de la cause à la caisse de compensation pour qu'elle ordonne son audition ainsi celle des époux A.B._ et B.B._.

Considérant en droit :
1.
1.1. Bien que le dispositif du jugement entrepris renvoie la cause à la caisse de compensation pour nouvelle décision dans le sens des considérants, il ne s'agit pas d'une décision partielle ou incidente au sens des art. 91 et 93 LTF. Il résulte des considérants de la décision attaquée que le renvoi de la cause ne vise en effet que le calcul du dommage de la caisse de compensation après exclusion des cotisations découlant de la LAMat, des intérêts moratoires et des frais administratifs y afférents. Le recours est dès lors recevable puisqu'il est dirigé contre un jugement final (<ref-law>; <ref-ruling> consid. 1.3).
1.2. Le recourant conclut notamment à l'annulation des décisions de la caisse de compensation des 27 février et 8 mars 2018. Ce faisant, il méconnaît le fait que la décision sur opposition du 12 septembre 2019, qui a remplacé ces décisions (<ref-ruling> consid. 4.2.2; <ref-ruling> consid. 2.1.2.1), a constitué l'objet du recours formé devant l'autorité cantonale. En tant qu'elles portent sur les décisions des 27 février et 8 mars 2018, les conclusions du recours sont dès lors irrecevables.
2.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
3.
3.1. Le litige porte sur la responsabilité du recourant dans le préjudice subi par la caisse de compensation intimée en raison du non-paiement par la société D._ SA du solde des cotisations sociales paritaires afférentes à la période courant de janvier 2014 à mai 2015. A cet égard, le jugement entrepris expose de manière complète les normes légales et la jurisprudence applicables en matière de responsabilité de l'employeur au sens de l'<ref-law>, singulièrement celles concernant la prescription du droit à la réparation du dommage (<ref-law>, dans sa version en vigueur jusqu'au 31 décembre 2019), la responsabilité des organes de l'employeur (<ref-law>) et le rapport de causalité entre la faute ou la négligence grave et le dommage ainsi que l'interruption de ce rapport. Il suffit d'y renvoyer.
3.2. On ajoutera aux considérations cantonales que le comportement d'un organe responsable peut, le cas échéant, libérer son coresponsable solidaire s'il fait apparaître comme inadéquate la relation de causalité entre le comportement de ce dernier et le dommage (arrêt H 207/06 du 19 juillet 2007 consid. 4.2.2, SVR 2008 AHV 5 n° 13; <ref-ruling> consid. 4a; voir aussi arrêt 9C_538/2019 du 19 juin 2020 consid. 6.1). La jurisprudence se montre stricte à cet égard. Elle précise qu'une limitation (et, a fortiori, une libération) de la responsabilité fondée sur la faute concurrente d'un tiers ne doit être admise qu'avec la plus grande retenue si l'on veut éviter que la protection du lésé que vise, d'après sa nature, la responsabilité solidaire de plusieurs débiteurs, ne soit rendue en grande partie illusoire (arrêts H 225/04 du 29 novembre 2005 consid. 7; H 156/99 du 20 mars 2000 consid. 5; cf. <ref-ruling> consid. 6b; <ref-ruling> consid. 4a).
4.
La juridiction cantonale a retenu que le recourant avait commis une négligence qui devait, sous l'angle de l'<ref-law>, être qualifiée de grave. Elle a considéré qu'en sa qualité d'organe formel de la société, il ne pouvait pas se contenter des seules informations qui lui étaient communiquées épisodiquement par les autres administrateurs, notamment par les époux A.B._ et B.B._. En conservant formellement un mandat d'administrateur qu'il n'assumait pas dans les faits, le recourant avait occupé une situation comparable à celle d'un homme de paille qui se serait déclaré prêt à assumer ou à conserver un mandat d'administrateur d'une société anonyme, tout en sachant qu'il ne pourra (ou ne voudra) pas le remplir consciencieusement, et a violé, en cela, son obligation de diligence. Selon les premiers juges, s'il était incapable de remplir son mandat d'administrateur, le recourant aurait dû démissionner sans délai, et à cette fin, requérir au besoin l'assistance d'un tiers. La passivité du recourant avait été en relation de causalité naturelle et adéquate avec le dommage subi par la caisse de compensation. Quant au montant du dommage, le recourant ne contestait pas que le solde dû s'élevait de prime abord à 124'120 fr. 75 après déduction des montants qu'il avait déjà versés. Les premiers juges ont relevé qu'il n'existait cependant pas de base légale suffisante pour rechercher les employeurs ou leurs organes pour le dommage résultant du défaut de paiement des cotisations dues en vertu de la LAMat. Aussi, la juridiction cantonale a renvoyé la cause à la caisse de compensation pour nouveau calcul dommage en excluant les cotisations impayées découlant de la LAMat, les intérêts moratoires et les frais administratifs afférents à ces montants, puis nouvelle décision sur ce point.
5.
5.1. Dans une première série de griefs, le recourant reproche à la juridiction cantonale d'avoir refusé, sans aucune motivation, à tort et de manière arbitraire, ainsi qu'en violation de son droit d'être entendu, sa demande tendant à son interrogatoire et à celui des époux A.B._ et B.B._. Il soutient qu'il s'est ainsi vu priver arbitrairement de la possibilité de s'exprimer oralement en instance cantonale et de l'administration de preuves pertinentes, ce d'autant plus que les époux A.B._ et B.B._ ne s'étaient pas déterminés par écrit sur le contenu de son recours cantonal sous réserve d'une brève détermination de A.B._. Il fait également grief aux premiers juges d'avoir omis de motiver les raisons pour lesquelles la caisse de compensation n'avait pas commis une faute en ne faisant pas valoir sa créance dans la succession de feu C._ (décédé en octobre 2016).
5.2. Garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend, notamment, le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, lorsque cela est de nature à influer sur la décision à rendre (cf. <ref-ruling> consid. 4.1; <ref-ruling> consid. 3.2; <ref-ruling> consid. 2.3). L'autorité peut renoncer à procéder à des mesures d'instruction (interrogatoire des parties, audition de témoins, etc.) lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4.1; <ref-ruling> consid. 6.3.1). L'art. 29 al. 2 Cst. ne garantit pas, de façon générale, le droit d'être entendu oralement (<ref-ruling> consid. 5.3). Le droit d'être entendu implique également pour l'autorité l'obligation de motiver sa décision (ATF <ref-ruling> consid. 5.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 3.2.1).
5.3. La juridiction cantonale s'est en l'espèce prononcée sur les griefs du recourant. Elle a tout d'abord indiqué que celui-ci reprochait à tort à la caisse de compensation de ne pas avoir produit sa créance dans la faillite de la succession de feu C._. Les premiers juges ont considéré que la caisse de compensation jouissait en effet d'un concours d'actions, de sorte qu'elle pouvait rechercher tous ses débiteurs, quelques-uns ou un seul d'entre eux, à son choix. Il était donc loisible à la caisse de compensation d'agir uniquement contre le recourant. Concernant ensuite l'audition du recourant et l'interrogatoire des époux A.B._ et B.B._, la juridiction cantonale a relevé que ces mesures d'instruction étaient inutiles vu que le dossier contenait déjà tous les éléments nécessaires pour trancher le litige. Aussi, le recourant connaît les motifs de la décision attaquée et se trouve à même de l'attaquer en toute connaissance de cause, de sorte que le grief relatif à l'obligation de motiver découlant de l'art. 29 al. 2 Cst. doit être rejeté.
En tant qu'elles portent sur le résultat de l'appréciation des preuves des premiers juges, les différentes violations du droit d'être entendu invoquées par le recourant sont pour le surplus des questions qui n'ont pas de portée propre par rapport au grief tiré d'une mauvaise appréciation des preuves (sur l'appréciation anticipée des preuves en général, <ref-ruling> consid. 4.1; <ref-ruling> consid. 6.3.1). A l'inverse de ce que semble soutenir le recourant, l'art. 29 al. 2 Cst. n'implique par ailleurs pas le droit de s'exprimer oralement devant l'autorité appelée à statuer (<ref-ruling> consid. 5.3 et la référence). L'argumentation du recourant sera par conséquent traitée avec le fond du litige.
6.
6.1. Le recourant soutient sur le fond que la juridiction cantonale a violé le principe de la proportionnalité en ne tenant pas compte de la situation particulière dans laquelle il se trouvait. Etant donné que les époux A.B._ et B.B._ avaient provoqué la faillite de la société par leurs agissements, il serait profondément injuste de lui imputer une responsabilité égale à celle des prénommés dans le non-paiement des cotisations sociales. Au regard de sa situation d'administrateur de second plan, sans pouvoir de gestion et sans droit de signature, il serait également arbitraire de retenir l'existence d'un lien de causalité entre son comportement et le dommage subi par la caisse de compensation. Il affirme qu'il n'était en particulier pas en mesure d'entamer les démarches nécessaires au rétablissement d'une situation conforme au droit s'agissant du paiement des cotisations sociales.
6.2. Selon les faits constatés par la juridiction cantonale, de manière à lier le Tribunal fédéral (supra consid. 2), A._ a conservé, pendant plusieurs années, un mandat d'administrateur qu'il n'assumait pas dans les faits. En n'exerçant aucune surveillance sur les personnes chargées de la gestion courante des affaires de la société, le recourant a donc commis une négligence qui doit, sous l'angle de l'<ref-law>, être qualifiée de grave (<ref-ruling> consid. 4.6; <ref-ruling> consid. 2b). La passivité du recourant est, de surcroît, en relation de causalité naturelle et adéquate avec le dommage subi par la caisse de compensation. A l'inverse de ce qu'il soutient, les autres circonstances qui ont concouru au dommage, notamment le fait que les époux A.B._ et B.B._ prenaient seuls, selon lui, toutes les décisions relatives à la marche des affaires de la société, ne présentent rien de si exceptionnel et imprévisible qu'elles relégueraient à l'arrière-plan sa négligence (supra consid. 3.2). Si le recourant avait correctement exécuté son mandat d'administrateur, comme il en était tenu, il aurait en effet pu veiller au paiement des cotisations d'assurances sociales ou, à tout le moins, il aurait pu constater que des cotisations d'assurances sociales étaient impayées et prendre les mesures qui s'imposaient. S'il se trouvait dans l'incapacité de prendre ces mesures en raison de l'opposition des organes qui dirigeaient en fait la société, il devait, comme l'a rappelé à juste titre la juridiction cantonale, démissionner de ses fonctions (arrêt 9C_446/2014 du 2 septembre 2014 consid. 4.2). Le grief du recourant tiré d'une rupture du lien de causalité naturelle et adéquate doit donc être écarté.
6.3. Pour le surplus, s'il existe une pluralité de responsables, la caisse de compensation jouit d'un concours d'actions et le rapport interne entre les coresponsables ne la concerne pas (cf. <ref-ruling> consid. 5.3.2); elle ne peut prétendre qu'une seule fois à la réparation du dommage, chacun des débiteurs répondant solidairement envers elle de l'intégralité du dommage et il lui est loisible de rechercher tous les débiteurs, quelques-uns ou un seul d'entre eux, à son choix (<ref-ruling> consid. 3.1 et les références). Comme l'a rappelé à juste titre la juridiction cantonale, la caisse de compensation intimée n'avait donc, pour ce motif, aucune obligation d'agir également à l'encontre de la succession de feu C._, pour autant que la qualité d'organe de ce dernier eut été établie. Le rapport interne entre les coresponsables ne concerne en effet nullement l'intimée. Le moyen soulevé par le recourant n'est dès lors pas fondé.
6.4. Ensuite des éléments qui précèdent, la juridiction cantonale n'a pas procédé à une appréciation anticipée arbitraire des preuves en statuant sur la base du dossier. Elle pouvait donc renoncer à l'audition du recourant et à l'interrogatoire des autres administrateurs, sans violer le droit d'être entendu. Il n'y a pas lieu de s'écarter de l'appréciation (anticipée) des preuves des premiers juges.
7.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à A.B._, à B.B._, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 mai 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker