Faits :
A.
La société B._ Sàrl, fondée en 2013 par A._ et C._, tous deux associés gérants avec signature collective à deux et co-directeurs de la société, a pour but la mise à disposition de personnel pour le placement fixe, temporaire ou à temps partiel, gestion et administration des ressources humaines, gestion de salaires et travaux en relation avec des contrats d'outsourcing, recrutement, gestion de la masse salariale (payrolling), formation, coaching, conseils en ressources humaines, conseils, gestion du personnel sur demande. Elle était affiliée en tant qu'employeur pour le paiement des cotisations sociales auprès de la Caisse de compensation AVS/AI APG de la Chambre vaudoise du commerce et de l'industrie (CVCI; la caisse de compensation).
Après plusieurs sommations, la caisse de compensation a entamé dès juillet 2015 une procédure de poursuite pour dettes contre la société en vue d'encaisser des cotisations d'assurances sociales impayées. Le 3 août 2015, A._ et C._ ont passé une convention en vue de la sortie du premier de la société, avec effet immédiat. A._ a été radié du Registre du commerce le 1 er septembre 2015.
Le 10 décembre 2015, la Présidente du Tribunal de l'arrondissement de Lausanne a prononcé la faillite de la société avec effet au 17 décembre 2015. Dans le cadre de la faillite de la société, la caisse de compensation a produit le 19 février 2016 une créance de 123'577 fr. 85. L'Office des faillites de l'arrondissement de Lausanne a déposé l'état de collocation le 18 novembre 2016, puis a délivré à la caisse de compensation un acte de défaut de biens après faillite pour la totalité de sa créance. La clôture de la faillite a été prononcée le 14 février 2018.
Par décision du 26 octobre 2017, confirmée sur opposition le 20 juillet 2018, la caisse de compensation a fait valoir à l'encontre de A._ une créance en réparation du dommage - arrêté à 114'136 fr. 05 - causé par le non-paiement par la société des cotisations sociales dues pour la période du 20 juillet 2013 au 1 er septembre 2015 (y compris les frais de sommation, de poursuite et les intérêts moratoires).
B.
Statuant le 18 août 2020, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a très partiellement admis le recours déposé par A._ et réformé la décision sur opposition rendue le 20 juillet 2018 en ce sens qu'il doit paiement à la caisse de compensation le montant de 97'111 fr. 30. Il a rejeté le recours pour le surplus.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande la réforme en ce sens qu'il n'est débiteur d'aucun montant auprès de la caisse de compensation. Subsidiairement, il demande à ce que le montant qu'il doit payer à la caisse de compensation n'excède pas la somme de 25'000 fr. Plus subsidiairement encore, il conclut à l'annulation du jugement et au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. A l'appui de son recours, il dépose notamment une correspondance qu'il a adressée au Ministère public d'arrondissement de Lausanne le 18 septembre 2019.

Considérant en droit :
1.
La recevabilité du recours en matière de droit public contre un jugement statuant sur la responsabilité d'un employeur envers une caisse de compensation fondée sur l'<ref-law> n'est ouverte que si la valeur litigieuse atteint la somme de 30'000 francs (<ref-law>; <ref-ruling> consid. 4.3 p. 56). En l'occurrence, les conclusions restées litigieuses devant l'autorité précédente (<ref-law>) s'élèvent à 114'136 fr. 05, de sorte que le recours est recevable de ce chef.
2.
2.1. Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.2. Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. En se limitant à indiquer que le Tribunal fédéral examine le droit d'office et que la lettre du 18 septembre 2019 est nouvelle, le recourant n'expose pas en quoi cette pièce produite pour la première fois en instance fédérale résulterait du jugement attaqué. Cette pièce nouvelle et les allégués qui en découlent ne peuvent par conséquent pas être pris en considération.
3.
Le litige porte sur la responsabilité du recourant dans le préjudice subi par la caisse de compensation intimée en raison du non-paiement par la société B._ Sàrl du solde des cotisations sociales paritaires afférentes à la période courant du 1 er janvier 2014 au 31 juillet 2015. A cet égard, le jugement entrepris expose de manière complète les normes légales et la jurisprudence applicables en matière de responsabilité de l'employeur au sens de l'<ref-law>, singulièrement celles concernant la prescription du droit à la réparation du dommage (<ref-law>, dans sa version en vigueur jusqu'au 31 décembre 2019; <ref-ruling> consid. 2 p. 195), la qualité d'employeur en lien avec les organes d'une société (<ref-law>; <ref-ruling> consid. 4.5 p. 528) et le rapport de causalité entre la faute ou la négligence grave et le dommage ainsi que l'interruption de ce rapport (<ref-ruling> consid. 4 p. 405). Il suffit d'y renvoyer.
4.
La juridiction cantonale a retenu que le recourant avait violé par négligence grave les devoirs qui lui incombaient de veiller personnellement à ce que les cotisations sociales fussent effectivement payées à la caisse de compensation. A._ ne pouvait en particulier pas se libérer de la responsabilité découlant de sa qualité d'associé gérant au motif qu'il n'exerçait pas, dans les faits, d'activité de gestion au sein de la société car ce désintérêt était en lui-même constitutif d'une négligence grave. En ne s'enquérant pas spontanément de la masse salariale réelle de la société, la caisse de compensation n'avait par ailleurs pas eu selon la juridiction cantonale un comportement tel qu'il avait rompu le lien de causalité entre la négligence du recourant et le dommage qu'elle avait subi. Selon les premiers juges, elle n'avait en effet aucune raison de suspecter que les montants déclarés par la société de la masse salariale ne correspondaient pas à la réalité. Quant aux plans de paiement accordés par la caisse de compensation à la société, les premiers juges ont constaté qu'ils ne concernaient pas les cotisations courantes mais celles échues. La caisse de compensation avait donc toujours exigé de la société qu'elle s'acquittât régulièrement des cotisations sociales courantes. Le montant total du dommage à la charge du recourant devait en revanche être corrigé. Selon les premiers juges, A._ ne pouvait en effet être tenu pour responsable du paiement par la société des cotisations sociales à la caisse de compensation que jusqu'au 3 août 2015, soit jusqu'à la date de la fin effective de son mandat d'administrateur.
5.
5.1. Dans un grief qu'il convient d'examiner en premier, le recourant soutient que les prétentions de la caisse de compensation sont prescrites. L'intimée aurait en effet su ou dû savoir que "la société était quasiment en cessation de paiement et que la situation était irrattrapable, à tout le moins depuis l'été 2015". Le délai de prescription avait dès lors commencé à courir en été 2015, sans doute dès le 31 juillet 2015 lorsqu'il avait "quitté le navire", et n'avait pas été interrompu dans le délai de deux ans. Qui plus est, si l'on devait considérer que c'est le prononcé de la faillite de la société du 10 décembre 2015 qui avait fait partir le délai de prescription, la simple correspondance de la caisse de compensation du 26 octobre 2017 ne constituerait pas un acte interruptif de prescription valable au sens de l'<ref-law>. Cette correspondance ne remplissait en effet pas les conditions d'une décision au sens de l'<ref-law>.
5.2. L'argumentation du recourant procède tout d'abord d'une confusion entre la créance en paiement des cotisations sociales et celle en réparation du dommage. Si la première se fonde sur l'obligation légale de l'employeur de verser des cotisations (<ref-law>, en lien avec les <ref-law>), la seconde se fonde sur la responsabilité pour le dommage causé par le non-paiement de ces cotisations (<ref-law>). Eu égard au principe de la subsidiarité de la responsabilité des organes de la personne morale (au sens de l'<ref-law>), la caisse de compensation ne peut invoquer la réparation d'un dommage que lorsque le débiteur des cotisations arriérées (la personne morale) se trouve dans l'impossibilité, en raison de son insolvabilité, de verser les cotisations à sa charge.
A cet égard, les premiers juges ont retenu que l'état de collocation avait été déposé le 18 novembre 2016, après le prononcé de la faillite de la société du 17 décembre 2015. Ils ont dès lors constaté les éléments requis par la jurisprudence pour admettre que la caisse de compensation avait connaissance de son dommage et était en droit de demander la réparation de celui-ci aux organes de la société dès le 18 novembre 2016 (à ce sujet, voir <ref-ruling> consid. 2.2 p. 488 et les références). Le fait que la société présentait une situation financière difficile constituait certes un indice pour l'intimée que sa créance ne serait probablement pas réglée à temps ou seulement dans une mesure insuffisante. Toutefois, ce n'est qu'à compter du dépôt de l'état de collocation que la caisse intimée a su qu'aucun dividende ne serait prévisible. C'est donc à ce moment-là que le délai de prescription a commencé à courir.
5.3. A l'inverse de ce que soutient le recourant, la décision en réparation du dommage du 26 octobre 2017 remplit ensuite manifestement toutes les conditions posées par la jurisprudence pour se voir reconnaître la qualité de décision (<ref-ruling> p. 46). Les premiers juges ont dès lors retenu à juste titre que cette décision avait interrompu en temps utile le délai de prescription de deux ans à compter du dépôt de l'état de collocation. Selon la jurisprudence, les actes interruptifs de prescription de l'<ref-law>, dans sa version en vigueur jusqu'au 31 décembre 2019, ne se limitent en effet pas à la liste de l'art. 135 al. 1 et 2 CO, mais comprennent aussi tout acte de procédure relatif au droit invoqué et susceptible de faire progresser l'instance (<ref-ruling> consid. 2.3 p. 489 et les références). La décision du 26 octobre 2017 en fait manifestement partie. Dans ces conditions, le moyen tiré de la prescription est mal fondé.
6.
6.1. Invoquant une violation de l'<ref-law>, le recourant fait ensuite valoir qu'il avait, jusqu'à son départ de la société en mai 2015, des raisons sérieuses et objectives de penser que la situation économique de la société se stabiliserait dans un laps de temps déterminé, qu'elle recouvrirait sa capacité financière et qu'elle pourrait s'acquitter des cotisations sociales dans un délai raisonnable. En témoigne selon lui une lettre du 10 juin 2015 qu'il a adressée à son associé et selon laquelle il était "d'avis que nous devons éviter à tout prix que nos clients aient vent de notre situation actuelle car cela pourrait les inciter à aller à la concurrence et à ce moment là nous aurons définitivement tout cassé". Il soutient encore que les organes de la société n'ont commis que des erreurs légères, confortés dans celles-ci par la caisse de compensation, et pas de négligences graves. En particulier, la caisse de compensation aurait adopté une facturation mensuelle des cotisations sociales seulement le 19 août 2015, soit beaucoup trop tardivement. La caisse intimée devrait dès lors assumer une faute concomitante lourde dans la survenance du dommage. Le recourant demande enfin à ce que sa responsabilité, sous l'angle de la période en considération, soit arrêtée au jour où il a quitté la société, le 29 mai 2015, et que l'on tienne compte de sa perte salariale volontaire d'un montant de 21'286 fr. "qui doit venir en compensation".
6.2. L'argumentation du recourant fondée sur la stabilisation financière probable de la société après son départ, alors qu'il a plaidé sous l'angle de la prescription que la société était "quasiment en cessation de paiement et que la situation était irrattrapable" dans le courant de l'année 2015, à tout le moins depuis l'été 2015, est contradictoire. Quoi qu'il en soit, compte tenu de l'important retard accumulé par la société dans le versement des cotisations sociales, on ne saurait admettre qu'elle rencontrait des difficultés de trésorerie passagères ou que le recourant pouvait s'attendre à ce qu'elle s'acquittât encore des sommes dues à l'assurance sociale après son départ. Le recourant ne fournit d'ailleurs aucun élément concret et objectif attestant que la société s'apprêtait à recouvrir sa capacité financière. La seule expectative que la société retrouve un équilibre financier ne suffit manifestement pas. En sa qualité d'organe, le recourant était en outre tenu de veiller personnellement à ce que la société puisse s'acquitter des créances de cotisations afférentes aux salaires versés. S'il affirme certes que la caisse de compensation aurait pu ou dû calculer elle-même au fur et à mesure des décomptes mensuels la masse salariale de la société, il n'en demeure pas moins que cette obligation incombait à l'employeur (art. 12 s. LAVS). Le simple fait que le recourant aurait préféré une facturation mensuelle des cotisations sociales plutôt que trimestrielle ne laisse dès lors apparaître aucune faute concomitante de la caisse. Au contraire, selon les faits constatés par la juridiction cantonale, la caisse intimée n'avait aucune raison de suspecter que le montant des salaires déclarés par la société étaient "loin de la réalité".
Les constatations des premiers juges selon lesquelles le recourant a quitté la société avec effet au 3 août 2015 ne prête également pas le flanc à la critique. Le recourant reconnaît d'ailleurs qu'il a démissionné de sa fonction d'associé gérant le 3 août 2015, tandis que la lettre du 10 juin 2015 confirme qu'il a continué à s'intéresser à l'administration de la société après le 29 mai 2015. Cette date ne peut dès lors être retenue comme celle à partir de laquelle il ne pourrait plus être considéré comme responsable du dommage (au sens de l'<ref-law>). On ne saurait enfin suivre le recourant lorsqu'il demande la compensation (par analogie) de sa créance en salaire contre la société avec le dommage subi par la caisse de compensation. Outre qu'il méconnaît le mécanisme de la compensation (<ref-law>), il perd de vue que l'intimée s'est vu remettre un acte de défaut de biens après faillite pour la totalité de sa créance et qu'elle n'a donc aucunement bénéficié d'une prétendue "diminution de dommage" liée au salaire auquel il aurait renoncé. Les différents griefs du recourant doivent dès lors être rejetés.
7.
Mal fondé, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 30 mars 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker