Faits :
A.
A.a. B._ Sàrl (ci-après: la société), fondée en 2004, a été affiliée en tant qu'employeur pour le paiement des cotisations sociales à la Caisse de compensation des entrepreneurs - Agence AVS 66.1 (ci-après: la caisse de compensation) dès 2006. Après avoir été déclarée en faillite avec effet en septembre 2011, la société a été radiée du registre du commerce en 2015.
Entre-temps, le 9 novembre 2012, la caisse de compensation a adressé à A._, en sa qualité d'associé gérant, une décision de réparation de dommage portant sur un montant de 115'459 fr. 15, dont 6351 fr. 30 d'intérêts moratoires et 325 fr. de frais de poursuites. Cette somme correspondait au solde des cotisations sociales (AVS/AI/APG/AC) dues sur les salaires déclarés par la société pour la période courant du mois de février 2009 au mois de juillet 2011. Saisie d'une opposition de A._, la caisse l'a rejetée par décision du 20 novembre 2013. Statuant le 3 juillet 2018 sur le recours formé par le prénommé contre cette décision, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, l'a très partiellement admis. Il a annulé la décision du 20 novembre 2013 s'agissant du montant de 6351 fr. 30 (intérêts moratoires), renvoyant la cause à la caisse de compensation afin qu'elle procède dans le sens des considérants, et a confirmé la décision litigieuse pour le surplus. Saisi d'un recours de l'assuré contre cet arrêt, le Tribunal fédéral l'a déclaré irrecevable (arrêt 9C_645/2018 du 16 octobre 2018).
A.b. La caisse de compensation a repris l'instruction de la cause. Par décision sur intérêts moratoires du 5 mars 2019, confirmée sur opposition le 26 juin suivant, elle a arrêté le montant des intérêts moratoires dus par le prénommé à 6351 fr. 30, constaté qu'il n'y avait pas lieu de modifier la somme due au titre du dommage qui lui avait été causé, et dit que A._ était débiteur envers elle de la somme de 115'459 fr. 15 et lui en devait immédiat paiement.
B.
A._ a déféré la décision sur opposition devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui, après avoir tenu une audience de comparution personnelle le 12 janvier 2021, l'a débouté (arrêt du 8 juillet 2021).
C.
A._ interjette un recours en matière de droit public contre cet arrêt, ainsi que l'arrêt cantonal du 3 juillet 2018 et demande leur annulation. Il conclut en substance à l'annulation des décisions sur opposition des 26 juin 2019 et 20 novembre 2013 et à ce qu'il soit constaté qu'il ne doit réparer aucun dommage vis-à-vis de la caisse de compensation en lien et à la suite de la faillite de la société. Subsidiairement, il requiert le renvoi de la cause à la caisse de compensation pour complément d'instruction et nouvelle décision dans le sens des considérants.
Considérant en droit :
1.
1.1. Interjeté par une partie directement touchée par la décision et qui a un intérêt digne de protection à son annulation ou sa modification (art. 89 al. 1 LTF), le recours, dirigé contre un arrêt final (art. 90 LTF) et un arrêt incident, qui peut être attaqué avec la décision finale qu'il précède (art. 93 al. 3 LTF), tous deux rendus dans une cause de droit public (art. 82 let. a LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF), est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi et que l'on ne se trouve pas dans l'un des cas d'exceptions mentionnés par l'art. 83 LTF. Les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF) atteignent par ailleurs la valeur de 30'000 fr. (art. 85 al. 1 let. a LTF; ATF 137 V 51 consid. 4.3). Il convient dès lors d'entrer en matière sur le recours.
1.2. Dans l'arrêt entrepris du 8 juillet 2021, la juridiction cantonale a admis que c'était à bon droit que la caisse de compensation avait statué, à la suite de l'arrêt de renvoi du 3 juillet 2018, sur la seule question des intérêts moratoires dus par le recourant et qu'elle n'avait pas repris l'instruction - ni rendu de nouvelle décision - sur les autres questions que celui-ci estimait litigieuses, en particulier quant à sa responsabilité. En conséquence, elle a considéré qu'il lui appartenait uniquement de se prononcer sur la question des intérêts moratoires et a circonscrit l'objet du litige au montant de ceux-ci. La décision - de nature incidente - du 3 juillet 2018 est en l'occurrence attaquée avec la décision finale du 8 juillet 2021 (art. 93 al. 3 LTF; arrêts 9C_295/2017 du 6 juillet 2017 consid. 1.2; 9C_637/2015 du 22 octobre 2015 consid. 6). Dans le cadre de la présente procédure peuvent donc être examinés non seulement les griefs à l'encontre de l'arrêt du 8 juillet 2021, mais également ceux dirigés contre la décision incidente.
2.
Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut pas être pris en considération (art. 97 al. 1 LTF).
3.
3.1. Le litige porte sur la responsabilité du recourant dans le préjudice subi par la caisse de compensation ensuite du non-paiement de cotisations sociales paritaires par B._ Sàrl afférentes à la période courant de février 2009 à juillet 2011, au sens de l'art. 52 LAVS.
3.2. L'arrêt incident expose de manière complète les dispositions légales et les principes jurisprudentiels en matière de responsabilité de l'employeur au sens de l'art. 52 LAVS et de responsabilité subsidiaire des organes de l'employeur (ATF 129 V 11; 126 V 237; 123 V 12 consid. 5b et les références), en particulier les conditions d'une violation intentionnelle ou par négligence des devoirs incombant aux organes (ATF 132 III 523 consid. 4.6; 121 V 243 consid. 4b). Il suffit d'y renvoyer.
4.
Dans l'arrêt du 3 juillet 2018, la juridiction cantonale a considéré qu'en sa qualité d'organe de B._ Sàrl, le recourant avait commis une négligence grave dans la gestion de la société au sens de l'art. 52 LAVS et qu'il ne pouvait pas être mis au bénéfice de circonstances exceptionnelles lui permettant de se dégager de sa responsabilité. Elle a ensuite confirmé le montant de la somme due au titre du dommage par le recourant à l'intimée et renvoyé la cause à celle-ci afin qu'elle procède à un décompte clair des intérêts moratoires dus. Dans l'arrêt final, les premiers juges ont admis que le calcul des intérêts moratoires auquel la caisse de compensation avait procédé dans sa décision sur intérêts moratoires du 5 mars 2019, confirmée sur opposition le 26 juin 2019, était correct.
5.
5.1. Le recourant fait grief à la juridiction de première instance d'avoir arbitrairement admis qu'il avait fait preuve d'une négligence grave ayant occasionné le dommage subi par l'intimée. Il lui reproche en particulier d'avoir ignoré les éléments lui permettant de s'exonérer de sa responsabilité, dans la mesure où l'inobservation des prescriptions relatives au paiement des cotisations sociales résulterait de circonstances "très particulières" qu'il décrit et qui rendraient excusable son comportement d'associé gérant de la société déclarée en faillite en 2011.
5.2. Selon la jurisprudence, commet notamment une faute ou une négligence grave au sens de l'art. 52 al. 1 LAVS, l'employeur qui verse des salaires pour lesquels les créances de cotisations qui en découlent de par la loi ne sont pas couvertes (cf. arrêts 9C_848/2018 du 21 janvier 2019 consid. 4.2; 9C_713/2013 du 30 mai 2014 consid. 4.2.3 et les références). En conséquence, l'argumentation du recourant selon laquelle les premiers juges ne pouvaient pas retenir qu'il avait commis une négligence grave, étant donné qu'il s'était régulièrement acquitté pour le compte de la société d'une partie à tout le moins des cotisations dues et que les "retards partiels de paiements" qui lui sont reprochés ne porteraient que sur une période "relativement courte", est mal fondée. Si les ressources financières de la société ne lui permettaient pas de payer les cotisations paritaires dans leur intégralité, il eût appartenu à l'employeur - soit au recourant en sa qualité d'associé gérant de la société - de ne verser que les salaires pour lesquels les créances de cotisations qui en découlaient de par la loi pouvaient être couvertes (arrêt 9C_546/2019 du 13 janvier 2020 consid. 4.2).
5.3. Le recourant ne peut pas davantage être suivi lorsqu'il allègue que des circonstances "tout à fait extraordinaires" et des "facteurs commerciaux exogènes à [s]a volonté" rendraient son comportement excusable. Certes, selon la jurisprudence dûment rappelée par l'instance précédente, il existe certains motifs de nature à justifier ou à excuser le comportement fautif de l'employeur au sens de l'art. 52 LAVS (ATF 108 V 183 consid. 1b; arrêts H 28/84 du 21 août 1985 consid. 2 et H 8/85 du 30 mai 1985 consid. 3a, in RCC 1985 p. 603 et 647). Cependant, s'il peut arriver qu'un employeur parvienne à maintenir son entreprise en vie, par exemple lors d'une passe délicate dans la trésorerie, en retardant le paiement de cotisations, il faut encore, pour qu'un tel comportement ne tombe pas ultérieurement sous le coup de l'art. 52 LAVS, que l'on puisse admettre que l'intéressé avait, au moment où il a pris sa décision, des raisons sérieuses et objectives de penser qu'il pourrait s'acquitter des cotisations dues dans un délai raisonnable (ATF 108 V 183 consid. 2, confirmé dans ATF 121 V 243; cf. aussi arrêts 9C_546/2019 précité consid. 4.3; 9C_338/2007 du 21 avril 2008 consid. 3.1). En l'occurrence, ces conditions ne sont pas remplies.
5.3.1. Quoi qu'en dise d'abord le recourant, le fait de s'être régulièrement acquitté pour le compte de la société d'une partie des cotisations dues et d'avoir fait un apport d'argent personnel dans la société ne constituent pas des motifs d'exculpation suffisants (cf. arrêt 9C_588/2017 du 21 novembre 2017 consid. 5.2). Si ces démarches étaient en théorie susceptibles de conduire à l'assainissement de B._ Sàrl, il n'en demeure pas moins que les difficultés financières rencontrées par la société n'étaient pas passagères, dès lors qu'il ressort des constatations cantonales que le paiement des cotisations sociales était devenu aléatoire depuis le début de l'année 2009 et que la société avait fait l'objet de divers rappels et sommations jusqu'en juillet 2011, avant d'être déclarée en faillite au mois de septembre suivant. En ce qu'il indique qu'il aurait "quelque peu retardé durant quelques mois le paiement des cotisations dues" afin de faire face à des difficultés économiques "tout à fait passagères", le recourant ne conteste pas sérieusement ces constatations. C'est également en vain qu'il se prévaut du chiffre d'affaires de la société en 2009 et 2010 et du carnet des commandes pour affirmer que la situation était saine et favorable et qu'il avait de bonnes raisons de penser que le manque de liquidités de la société n'était que temporaire. A la suite des premiers juges, on constate en effet que des problèmes rencontrés sur un chantier à tout le moins dès 2008 laissaient présager un manque de liquidités, puisque le recourant avait lui-même indiqué à cet égard à une cliente, dans une correspondance datée du 23 mai 2008, que la société était "près de la catastrophe" s'agissant des liquidités. Quant aux comptes de pertes et profits pour les années 2009, 2010 et 2011, s'il y est fait mention d'un bénéfice de 21'599 fr. 58 en 2009, ils ont ensuite présenté une perte de 23'113 fr. 48 en 2010 et de 323'708 fr. 86 en 2011, si bien que le recourant ne pouvait manifestement pas en inférer que la situation économique de la société allait se stabiliser dans un laps de temps déterminé. A cet égard, on rappellera au demeurant que la seule expectative que la société retrouve un équilibre financier ne suffit pas pour admettre qu'il existait une raison sérieuse et objective de penser qu'un arriéré de cotisations pourrait être comblé dans un délai raisonnable (cf. arrêts 9C_641/2020 du 30 mars 2021 consid. 6.2; 9C_338/2007 précité consid. 3.2 et la référence).
5.3.2. Le défaut de paiement relatif à deux chantiers ne saurait ensuite non plus constituer un motif de nature à justifier ou à excuser le comportement fautif du recourant au sens de l'art. 52 LAVS. Quand bien même lesdits chantiers lui auraient été confiés par des proches, amis et partenaires en affaires de très longue date, comme il le soutient, des difficultés de paiement rencontrées avec certains clients ne sont en effet pas inenvisageables et ne suffisent donc pas pour rompre le lien de causalité entre le manquement imputable au recourant et le préjudice subi par l'intimée (au sujet du rapport de causalité entre la faute ou la négligence grave et le dommage ainsi que l'interruption de ce rapport, cf. ATF 119 V 401 consid. 4; arrêt H 95/05 du 10 janvier 2007 consid. 4 et les références), comme l'ont dûment expliqué les premiers juges. La crise cardiaque dont a été victime l'un des employés principaux de la société et à la suite de laquelle l'assurance perte de gain a refusé d'entrer en matière - selon les dires du recourant -, n'est pas non plus une circonstance si exceptionnelle et imprévisible qu'elle reléguerait à l'arrière-plan tous les autres facteurs qui ont contribué à occasionner le dommage subi par l'intimée, en particulier la négligence du recourant.
5.4. En conséquence, au vu des arguments avancés, il n'y a pas lieu de s'écarter des conclusions des premiers juges, selon lesquelles le comportement du recourant dans la gestion de la société concernée est constitutif d'une négligence grave au sens de l'art. 52 LAVS et qu'il ne saurait être mis au bénéfice de circonstances exceptionnelles lui permettant de se dégager de sa responsabilité. Pour le surplus, le recourant ne conteste pas le calcul et le montant des intérêts moratoires, qui ont été confirmés dans l'arrêt final entrepris. Le recours est mal fondé.
6.
Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 5000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 avril 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Perrenoud