Faits :
A.
La société "C._ SA, en liquidation" (ci-après: la société) a été affiliée en qualité d'employeur auprès de la Caisse interprofessionnelle AVS de la Fédération des Entreprises Romandes (FER CIAM 106.1; ci-après: la caisse). Elle a été dissoute par suite de faillite prononcée par jugement du 7 mai 2012. B._ en était l'administrateur-président, avec signature collective à deux depuis la création de la société et signature individuelle du 28 septembre 2004 au 9 juillet 2012, et A._ l'administrateur, avec signature collective à deux depuis le 18 juin 2001 et signature individuelle dès le 18 juillet 2012. Par décisions du 30 octobre 2014, la caisse a réclamé à B._ et à A._ la somme de 79'755 fr. 75 à titre de réparation pour le dommage subi à la suite du non-paiement des cotisations sociales. Saisie d'une opposition de A._, la caisse l'a rejetée par décision du 25 septembre 2015.
B.
Par jugement du 1 er novembre 2016, la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, a rejeté le recours formé par A._ contre cette décision.
C.
L'intéressé interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation ainsi que celle de la décision sur opposition de la caisse du 25 septembre 2015. Il conclut principalement à la constatation du fait qu'il n'est débiteur d'aucun montant à l'égard de la caisse et subsidiairement au renvoi de la cause au tribunal cantonal pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
La recevabilité du recours en matière de droit public contre un jugement statuant sur la responsabilité d'un employeur envers une caisse de compensation fondée sur l'<ref-law> n'est ouverte que si la valeur litigieuse atteint la somme de 30'000 francs (<ref-law>; <ref-ruling> consid. 4.3 p. 56). En l'occurrence, les conclusions restées litigieuses devant l'autorité précédente (<ref-law>) s'élèvent à 79'755 fr. 75, de sorte que le recours est recevable de ce chef.
2.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération (<ref-law>).
3.
Le litige porte sur la responsabilité, au sens de l'<ref-law>, du recourant pour le dommage subi par la caisse intimée en raison du non-paiement des cotisations sociales par la société pour les mois de février à décembre 2010, janvier 2011, juin à décembre 2011 et janvier à mai 2012. Le jugement entrepris expose de manière complète les règles légales et les principes jurisprudentiels nécessaires à la solution du litige. Il suffit d'y renvoyer.
4.
La juridiction cantonale a constaté que le recourant avait commis en sa qualité d'organe formel de la société en faillite une négligence grave entraînant son obligation de réparer le dommage commis à l'intimée. L'intéressé avait violé son obligation de diligence en n'exerçant aucune surveillance de l'activité de la société depuis 2001, date de son entrée au conseil d'administration, ni en n'ayant rien entrepris pour s'assurer du paiement des cotisations sociales. S'il avait correctement exercé son mandat, il aurait eu connaissance de la situation financière de la société et aurait pu, en sa qualité d'administrateur, agir en conséquence afin de prendre des mesures concrètes. A tout le moins, il aurait dû vérifier si B._, administrateur-président, avait pris des mesures appropriées, et exercer une pression sur ce dernier (qui dirigeait en fait la société) afin qu'il garantît le versement des cotisations sociales en souffrance dans les meilleurs délais.
5.
5.1. Reprochant aux premiers juges d'avoir constaté les faits de manière manifestement inexacte et d'avoir violé l'<ref-law>, le recourant leur fait en substance grief, tout au long de son recours, d'avoir nié l'interruption de la causalité entre son éventuelle négligence et le dommage causé à l'intimée, dans la mesure où ce dernier était impossible à réparer.
5.2. Les griefs du recourant sont mal fondés. Quand bien même B._ aurait fait l'objet d'une procédure pénale occasionnant des difficultés financières à la société (séquestre et faillite), cela n'explique pas pourquoi le recourant n'a effectué aucun contrôle, ni ne s'est informé sur l'activité des personnes chargées de la gestion de la société. L'intéressé ne saurait excuser le fait qu'il n'a rien entrepris de concret pour obtenir des renseignements sur l'administration de la société, singulièrement sur le paiement des cotisations sociales, en invoquant qu'il n'aurait de toute façon pas été en mesure d'obtenir le paiement desdites cotisations sociales vu la situation financière défavorable de la société et de B._. Cette allégation ne suffit pas à établir, selon la vraisemblance prépondérante, une rupture du lien de causalité entre le comportement de l'intéressé et le dommage subi par l'intimée. Même si le recourant n'est pas intervenu activement au sein de la société (ne disposait pas de procuration, n'a jamais demandé à avoir accès aux comptes bancaires), il était tenu, en tant que membre du conseil d'administration (<ref-law>), d'exercer la haute surveillance sur les personnes chargées de la gestion de la société, attribution intransmissible et inaliénable (<ref-law>). Entre autres obligations, il lui incombait de se mettre régulièrement au courant de la marche des affaires et de veiller personnellement à ce que les cotisations paritaires afférentes aux salaires versés fussent effectivement payées à l'AVS (arrêt H 92/01 du 25 septembre 2002, in SVR 2003 AHV n° 5 p. 14 consid. 5.3.2). Il avait le devoir d'exercer ses attributions conformément à son obligation de diligence aussi longtemps qu'il était membre du conseil d'administration de la société. Au demeurant, dans la mesure où il avait soupçonné des difficultés de paiement des cotisations sociales à compter de 2010-2011 (jugement attaqué, consid. 10 p. 16), il aurait dû prendre les mesures appropriées pour s'assurer du règlement desdites cotisations, peu importe que B._ fasse l'objet d'une procédure pénale et que la situation financière de la société et du président soit, à ce moment-là, difficile. Le fait de n'avoir jamais pris de renseignements ni auprès de l'organe de révision ni auprès de l'intimée, puisqu'il se contentait de faire "confiance au président" (jugement attaqué, consid. 10 p. 15), constitue une situation caractéristique dans laquelle l'administrateur doit répondre en vertu de l'<ref-law> des conséquences du défaut de paiement par la société des cotisations paritaires auquel sa passivité a grandement contribué. Il en irait différemment s'il avait été trompé par des manoeuvres fallacieuses à son endroit, telles la présentation de comptes falsifiés, visant à lui cacher le défaut de paiement à l'égard de la caisse de compensation et qui l'auraient empêché de respecter ses obligations (arrêt 9C_135/2011 du 11 avril 2011 consid. 4.3.2 et les références; voir également Marco Reichmuth, Die Haftung des Arbeitgebers und seiner Organe nach Art. 52 AHVG, 2008, n° 794, p. 190), ce qui n'est pas le cas en l'espèce. Le recourant ne saurait en outre invoquer la courte durée du non respect de son devoir de diligence puisqu'il est établi que son désintérêt pour les comptes de la société durait depuis le début de son mandat, en 2001, et non depuis le premier trimestre 2011. Il ne saurait alléguer non plus une faute concomitante de l'intimée dans la mesure où cette dernière n'avait pas à l'avertir des arriérés de cotisations dus et des devoirs découlant de sa fonction d'administrateur. Pour le reste, le recourant ne démontre pas en quoi l'appréciation des premiers juges serait entachée d'arbitraire.
C'est finalement en vain que le recourant invoque une violation de son droit d'être entendu (art. 29 al. 1 Cst.) en lien avec le refus des premiers juges de requérir la production du dossier de la procédure pénale contre B._ et celui de la faillite personnelle de ce dernier, dans la mesure où il résulte du jugement entrepris que le comportement du recourant a contribué à la survenance du dommage. Le lien de causalité est donc réalisé, peu importe l'existence d'une procédure pénale à l'encontre B._ ou sa situation financière.
5.3. Par conséquent, c'est à bon droit que l'autorité précédente a tenu le recourant pour responsable du dommage subi par l'intimée en raison du non-paiement des cotisations sociales dues sur les salaires déclarés par la société pour les mois de février à décembre 2010, janvier 2011, juin à décembre 2011 et janvier à mai 2012.
6.
Mal fondé, le recours doit être rejeté. Les frais judiciaires sont mis à la charge du recourant (<ref-law>). Ceux-ci sont arrêtés en fonction de la valeur litigieuse, s'agissant d'un cas de responsabilité de l'employeur au sens de l'<ref-law> (art. 51 al. 1 let. a et 65 al. 2 LTF; ch. 1 du Tarif du 31 mars 2006 des émoluments judiciaires du Tribunal fédéral [RS 173.110.210.1]). B._, qui n'a pas été invité à répondre au recours, n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 4 juillet 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Flury