Faits :
A.
La société B._ Sàrl (anciennement C._ Sàrl) avait pour but tous travaux dans le bâtiment, notamment dans le domaine de la plâtrerie et des façades. Elle était affiliée en tant qu'employeur pour le paiement des cotisations sociales auprès de la Caisse AVS de la Fédération patronale vaudoise depuis le 1er janvier 2016 (ci-après: la caisse de compensation). La faillite de la société a été prononcée en septembre 2019, puis suspendue faute d'actif en août 2020.
Le 8 octobre 2020, la caisse de compensation a réclamé à A._, en sa qualité d'associé gérant avec signature individuelle de la société B._ Sàrl (du 25 novembre 2014 au 20 décembre 2018), la réparation du dommage qu'elle a subi dans la faillite de la société et portant sur un montant de 267'869 fr. 60. Cette somme correspondait au solde des cotisations sociales dues sur les salaires versés par la société pour les années 2017 et 2018, y compris les frais de sommation et les intérêts moratoires. Par décision du 7 janvier 2021, la caisse de compensation a rejeté l'opposition formée par A._.
B.
Statuant le 5 juillet 2021, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a rejeté le recours formé par l'assuré et confirmé la décision sur opposition du 7 janvier 2021.
C.
A._ forme un recours contre cet arrêt dont il demande en substance l'annulation ainsi que celle de la décision du 7 janvier 2021.

Considérant en droit :
1.
La recevabilité du recours en matière de droit public contre un arrêt statuant sur la responsabilité d'un employeur envers une caisse de compensation fondée sur l'<ref-law> n'est ouverte que si la valeur litigieuse atteint la somme de 30'000 francs (<ref-law>; <ref-ruling> consid. 4.3). En l'occurrence, les conclusions restées litigieuses devant l'autorité précédente (<ref-law>) s'élèvent à 267'869 fr. 60, de sorte que le recours est recevable de ce chef.
2.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte (c'est-à-dire arbitraire au sens de l'art. 9 Cst.; <ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2) ou en violation du droit au sens de l'<ref-law> (<ref-law>).
3.
Le litige porte sur la responsabilité du recourant dans le préjudice subi par l'intimée en raison du non-paiement par B._ Sàrl (auj ourd'hui en liquidation) du solde des cotisations sociales paritaires afférentes à la période courant de janvier 2017 à décembre 2018. A cet égard, l'arrêt entrepris expose de manière complète les normes légales et la jurisprudence applicables en matière de responsabilité subsidiaire des organes de l'employeur au sens de l'<ref-law>, en particulier les conditions d'une violation intentionnelle ou par négligence grave des devoirs de diligence d'un associé gérant d'une société à responsabilité limitée (<ref-ruling>). Il suffit d'y renvoyer.
4.
4.1. La juridiction cantonale a retenu que le recourant n'avait pas fait preuve de la diligence requise au regard des obligations qui lui incombaient en matière d'AVS, qu'il avait eu un comportement constitutif d'une négligence grave et que sa responsabilité au sens de l'<ref-law> était pleinement engagée dans le préjudice subi par la caisse de compensation intimée. A._ avait en effet exercé la fonction d'associé gérant avec signature individuelle de la société B._ Sàrl du 25 novembre 2014 au 20 décembre 2018. Contrairement à ce qu'il affirmait, les premiers juges ont constaté que les premières difficultés financières de la société ne dataient pas de 2017 mais de début 2016. Si les premiers juges ont admis qu'un employeur, confronté à des difficultés passagères de trésorerie, pouvait suspendre le paiement des cotisations sociales durant un ou deux mois dans l'attente de rentrées d'argent prévisibles, ce motif ne permettait pas de justifier une cessation quasi totale des paiements sur une période longue de près de deux ans. Rien n'indiquait en outre que le recourant avait pris des mesures concrètes et immédiates en vue de remplir ses obligations sociales, telles que la réduction de l'effectif du personnel de la société ou la négociation de solutions transitoires avec les créanciers. Le fait que la société n'était pas encore en situation comptable de surendettement importait par ailleurs peu, dès lors que les liquidités courantes ne permettaient pas à la société de faire face à ses engagements en matière d'assurances sociales. En poursuivant l'exploitation de la société tout en laissant s'accroître l'arriéré de cotisations sociales, le recourant avait donc délibérément choisi de privilégier d'autres créanciers et de faire supporter à la caisse intimée le risque inhérent au financement de sa société en difficulté. Le comportement du recourant était d'autant plus critiquable qu'il avait notamment favorisé ses intérêts personnels, en se faisant verser un salaire annuel brut de 195'000 fr. en 2017 et en 2018.
4.2. Le recourant ne conteste ni sa qualité d'organe de la société B._ Sàrl (du 25 novembre 2014 au 20 décembre 2018), ni le calcul du montant de 267'869 fr. 60. Invoquant une violation de l'<ref-law>, en lien avec l'<ref-law>, le recourant soutient qu'il n'a pas commis de faute grave dans la gestion de la société, qu'il n'existe pas de lien de causalité entre une prétendue faute grave de sa part et la survenance du dommage, qu'il n'a plus eu la possibilité d'empêcher le dommage après son départ de la société (alors qu'il restait des factures ouvertes pour 335'000 fr. au moment de son départ) et que la caisse de compensation intimée a fait preuve de mauvaise foi en rejetant toute responsabilité de sa part dans la survenance du préjudice. Il fait valoir qu'il était en particulier raisonnable de penser qu'à terme, l'essentiel des créances clients serait réglé à condition que l'entreprise maintienne son activité. Il n'avait dès lors eu d'autre choix que de tenter de maintenir l'appareil de production en activité, en versant les salaires et en payant les fournisseurs. En offrant des plans de paiement de longue durée, la caisse de compensation avait d'ailleurs admis implicitement qu'il pouvait y avoir des retards conséquents de cotisations. En d'autres termes, il affirme qu'il ne peut être tenu responsable des cotisations sociales impayées car la société ne disposait pas des liquidités financières suffisantes pour les acquitter.
5.
5.1. A l'inverse de ce que soutient le recourant, les problèmes de trésorerie ou de liquidités de la société importent peu en l'occurrence. En tant qu'associé gérant avec signature individuelle de la société, le recourant a commis une négligence grave en laissant en souffrance, pendant près de deux ans, la quasi-totalité des créances de la caisse de compensation. Il n'avait en particulier pas la faculté de désintéresser, en raison d'un contexte économique difficile, en priorité les créanciers les plus pressants de la société (en l'occurrence les salariés et les fournisseurs), au détriment des intérêts de la caisse de compensation, car il était tenu de s'assurer que la société ne verse que les salaires pour lesquels les créances de cotisations sociales étaient couvertes (<ref-law>, en lien avec les <ref-law> et 14 LAVS; arrêt 9C_657/2015 du 19 janvier 2016 consid. 5.3). Quant à l'argument du recourant selon lequel il avait reporté le paiement des cotisations afin de diminuer les charges de la société pour la garder à flot et préserver des emplois jusqu'à ce que les débiteurs de celle-ci s'acquittent de leurs dettes, il est mal fondé. Compte tenu du retard accumulé par la société dans le versement des cotisations sociales dès 2016, les premiers juges ont constaté sans arbitraire qu'elle ne rencontrait pas des difficultés de trésorerie seulement passagères. Le recourant n'avait donc aucune raison sérieuse et objective de penser que la société pourrait s'acquitter des cotisations sociales dues dans un délai raisonnable. Le recourant a d'ailleurs fini par céder ses parts dans la société pour un prix symbolique de 1000 fr. à un tiers le 20 décembre 2018, démontrant ainsi qu'il n'y avait plus aucun espoir de rétablissement de la situation. Pour le reste, il est incontestable que la négligence grave du recourant est en relation de causalité avec le dommage subi par la caisse de compensation intimée jusqu'à son départ effectif de la société, soit jusqu'en décembre 2018. Dans ces circonstances, il n'y a pas lieu de s'écarter de l'appréciation des premiers juges.
5.2. C'est finalement en vain que le recourant prétend que la caisse de compensation intimée a commis une faute concomitante. En sa qualité d'organe, il appartenait au recourant de prendre toutes les décisions concernant la gestion et la poursuite des activités de la société. Le simple fait que le recourant considère que la caisse de compensation aurait pu demander la liquidation de la société dès novembre 2016 ne suffit pas à établir qu'elle a gravement négligé son obligation d'exiger le paiement des cotisations et d'en poursuivre l'encaissement (à ce sujet, voir <ref-ruling> consid. 3c). Les problèmes de liquidités de la société survenus dès 2016 renforcent en revanche le fait, constaté par les premiers juges, que le recourant a choisi de faire supporter à la caisse de compensation intimée le risque inhérent au financement de sa société pendant les années 2017 et 2018, alors que le sort de celle-ci était déjà largement scellé.
6.
Mal fondé, le recours doit être rejeté.
Le recourant supportera les frais de la procédure (<ref-law>). Ceux-ci sont arrêtés en fonction de la valeur litigieuse, s'agissant d'un cas de responsabilité de l'employeur au sens de l'<ref-law> (art. 51 al. 1 let. a et 65 al. 2 LTF; ch. 1 du Tarif du 31 mars 2006 des émoluments judiciaires du Tribunal fédéral [RS 173.110.210.1]). L'intimée n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 8000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 14 octobre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker