Faits :
A.
Par déclaration de sinistre du 6 juin 2014, B._ Sàrl a informé la Caisse nationale suisse d'assurance en cas d'accidents (CNA) que le 1er avril 2014, A._ s'était luxé l'épaule droite en chutant. La CNA a pris en charge le cas. Le 31 juillet suivant, l'assuré a été victime d'un nouvel épisode de luxation de l'épaule droite, pour lequel la CNA a également versé ses prestations.
Par décision du 13 avril 2017, la CNA est revenue sur la prise en charge de l'accident du 1 er avril 2014, considérant que l'engagement de l'assuré par la société B._ au moment de l'accident annoncé n'avait pas pu être établi; aussi réclamait-elle la restitution d'un montant de 23'576 fr. 40 correspondant aux indemnités journalières versées et aux frais de traitement pris en charge en lien avec cet événement. Par une seconde décision du même jour, elle est également revenue sur la prise en charge de l'accident du 31 juillet 2014, pour les mêmes motifs, et a requis de l'assuré la restitution des prestations pour un montant total de 181'315 fr. 80. Le 2 janvier 2018, la CNA a rejeté l'opposition formée par l'intéressé contre les décisions précitées.
B.
Par arrêt du 22 septembre 2020, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre la décision sur opposition du 2 janvier 2018.
C.
A._ interjette un recours en matière de droit public contre cet arrêt, en concluant à sa réforme en ce sens qu'il soit constaté qu'il n'y a aucun motif de révision des décisions de prise en charge des accidents des 1er avril et 31 juillet 2014, ni matière à restitution. Subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi du dossier à la juridiction cantonale pour nouvelle instruction et nouveau jugement.
L'intimée conclut au rejet du recours. La cour cantonale et l'Office fédéral de la santé publique n'ont pas déposé d'observations.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
2.1. Le litige porte sur le point de savoir si la cour cantonale a violé le droit fédéral en considérant que l'intimée était fondée à revenir sur la prise en charge des accidents des 1 er avril et 31 juillet 2014 et à réclamer au recourant la restitution des prestations versées à ce titre.
2.2. Dans un litige portant sur le point de savoir si un événement dommageable (accident ou maladie professionnelle) est couvert par l'assurance-accidents obligatoire, l'exception prévue à l'<ref-law> ne s'applique pas, indépendamment du fait que l'octroi ou le refus de prestations en espèces peut dépendre de la solution de la question litigieuse (<ref-ruling> consid. 1; <ref-ruling>). Aussi le Tribunal fédéral fonde-t-il son raisonnement sur les faits établis par l'autorité précédente (<ref-law>), à moins que ces faits aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Il n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 2; <ref-ruling> consid. 2.3). Il appartient au recourant de démontrer le caractère arbitraire des faits retenus par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law>.
3.
3.1. Selon l'<ref-law>, sont assurés à titre obligatoire contre les accidents les travailleurs occupés en Suisse. Est réputé travailleur selon l'<ref-law> quiconque exerce une activité lucrative dépendante au sens de la législation fédérale sur l'assurance-vieillesse et survivants (<ref-law>; RS 832.202). De manière générale, la jurisprudence considère comme tel la personne qui, dans un but lucratif ou de formation et sans devoir supporter de risque économique propre, exécute durablement ou provisoirement un travail pour un employeur, auquel il est plus ou moins subordonné (<ref-ruling> consid. 4.2; <ref-ruling>). Ce sont donc avant tout les personnes au bénéfice d'un contrat de travail au sens des <ref-law> ou qui sont soumises à des rapports de service de droit public qui sont ici visées. Dans le doute, la qualité de travailleur doit être déterminée, de cas en cas, à la lumière de l'ensemble des circonstances de l'espèce, notamment au regard de l'existence d'une prestation de travail, d'un lien de subordination et d'un droit au salaire sous quelque forme que ce soit (arrêts 8C_611/2019 du 11 mai 2020 consid. 3.1 et les références; 8C_538/2019 du 24 janvier 2020 consid. 2.3 et les références, in SVR 2020 UV n° 22 p. 85).
3.2. L'art. 25 al. 1, 1 e phrase, LPGA (RS 830.1), auquel renvoie l'<ref-law>, prévoit que les prestations indûment touchées doivent être restituées. L'obligation de restituer suppose que soient réunies les conditions d'une révision procédurale (<ref-law>) ou d'une reconsidération (<ref-law>) de la décision par laquelle les prestations en cause ont été allouées (<ref-ruling> consid. 3.2; <ref-ruling> consid. 5.2.1). Le droit de demander la restitution s'éteint un an après le moment où l'institution a eu connaissance du fait, mais au plus tard cinq ans après le versement de la prestation (art. 25 al. 2, 1 re phrase, LPGA, dans sa teneur en vigueur avant le 1 er janvier 2021 [cf. <ref-law>]).
Aux termes de l'<ref-law>, les décisions et les décisions sur opposition formellement passées en force sont soumises à révision si l'assuré ou l'assureur découvre subséquemment des faits nouveaux importants ou trouve de nouveaux moyens de preuve qui ne pouvaient être produits auparavant (al. 1; révision procédurale). L'assureur peut également revenir sur les décisions ou les décisions sur opposition formellement passées en force lorsqu'elles sont manifestement erronées et que leur rectification revêt une importance notable (al. 2; reconsidération).
4.
4.1. Il convient d'abord d'examiner si les premiers juges étaient fondés à considérer que le recourant n'avait pas la qualité d'assuré au sens de l'<ref-law> au moment des accidents, ce que celui-ci conteste dans son mémoire de recours.
4.2. A cet égard, la cour cantonale a relevé que selon la déclaration de sinistre du 6 juin 2014, le recourant était au bénéfice d'un contrat de durée déterminée allant du 1 er mars au 31 décembre 2014. Or le contrat de travail produit par le recourant le 8 juillet 2016, à la suite d'une requête de l'intimée du 31 mars 2016, de deux rappels et de la suspension des indemnités journalières à la fin du mois de juin 2016, indiquait un engagement de durée indéterminée dès le 1 er janvier 2014. En outre, le recourant n'avait produit ni fiche ni certificat de salaire pour son activité auprès de la société B._ dès le 1 er mars 2014. La société n'avait par ailleurs jamais obtempéré à la demande de l'intimée de produire le contrat de travail du recourant et les fiches de salaire des mois durant lesquels celui-ci aurait travaillé, et d'indiquer à quelle caisse de compensation elle était affiliée. Seul un décompte de salaire concernant le mois de janvier 2014 avait été produit par la fiduciaire C._ SA (ci-après: la fiduciaire) le 30 janvier 2017. Si les indications fournies par cette dernière - selon lesquelles le recourant ne travaillait pas réellement dans l'entreprise mais y avait été enregistré avec effet rétroactif après son accident du 31 juillet 2014 - ne pouvaient pas être suivies sans autre, elles étaient néanmoins pertinentes et corroborées par des éléments objectifs. Ainsi, aucun décompte AVS n'avait été produit au dossier, ce qui donnait à penser qu'aucune déduction salariale n'avait été opérée. L'extrait du compte individuel AVS produit le 23 mars 2016 mentionnait certes que le recourant avait perçu un salaire en 2014 (14'586 fr.) et en 2015 (7293 fr.) mais celui-ci avait été versé par l'entreprise D._. Quant aux indications fournies par l'autorité fiscale le 13 mars 2017, elles montraient que le recourant avait perçu en 2014 un revenu de 13'107 fr., ce qui correspondait très vraisemblablement au salaire reçu de ladite entreprise. Par ailleurs, la facture définitive de primes pour l'année 2014, que l'intimée avait adressée à la société B._ le 31 mars 2015, indiquait que celles-ci avaient été calculées sur une masse salariale de 53'000 fr., alors que selon les éléments au dossier, ladite société aurait dû verser au recourant et à son associé E._ des salaires à hauteur de 126'000 fr. au total. Dans ces conditions, on ne pouvait pas suivre l'argument du recourant, selon lequel les déclarations de la fiduciaire n'étaient pas fiables en raison d'un conflit avec la société B._.
En outre, il ressortait de l'extrait du registre du commerce, des publications dans la Feuille officielle suisse du commerce figurant au dossier et des déclarations du recourant que celui-ci avait la qualité d'associé gérant de la société B._ depuis septembre 2013. Il ne pouvait donc pas prétendre qu'il n'avait aucune maîtrise sur la gestion de la société et qu'il n'avait pas accès aux documents qui lui étaient réclamés pour prouver la réalité du rapport de travail.
Enfin, se référant à la motivation développée par l'intimée dans sa décision sur opposition, la cour cantonale a relevé que les déclarations écrites de diverses sociétés produites par le recourant dans le cadre de son opposition n'avaient pas une valeur probante suffisante. L'intimée avait relevé à ce propos qu'il paraissait étonnant que les rédacteurs de ces attestations (établies en 2017) puissent se souvenir du travail fourni par un ouvrier début 2014; de plus, F._ SA avait été fondée en septembre 2014, de sorte qu'elle ne pouvait pas avoir mandaté le recourant pour faire des travaux en février ou mars 2014; quant à G._ Sàrl, elle était en faillite depuis longtemps et la signature de H._ avait été radiée en août 2016. Les juges cantonaux peinaient en outre à comprendre comment l'intéressé aurait pu être mandaté par ces sociétés durant l'année 2014 dans la mesure où il avait été en incapacité totale de travailler dès le 1 er avril 2014, excepté une période à 50 % du 16 au 31 juillet 2014; F._ SA affirmait en effet que le recourant s'était occupé des travaux sanitaires jusqu'à son accident à l'été 2014. Ils ont finalement relevé que la déclaration du 28 mai 2017, par laquelle E._ exposait qu'il aurait payé le recourant "de la main à la main", avait été produite après la décision sur opposition, dans laquelle l'intimée avait constaté l'impossibilité pour le recourant de produire l'extrait de compte bancaire ou postal sur lequel les salaires auraient été versés.
4.3. Sous couvert d'une violation de la maxime inquisitoire et des "règles procédurales fédérales, en particulier l'art. 61 let. c et e, pour ce qui est de l'établissement des faits, du droit d'être entendu et de l'appréciation des moyens de preuves", le recourant fait valoir que le courrier de la fiduciaire du 30 janvier 2017 débute par une supposition, selon laquelle aucune retenue AVS n'aurait été effectuée, et que par courriel du 22 juin 2017, son administrateur indiquait que E._ avait demandé l'établissement d'une fiche de salaire au nom du recourant le 27 janvier 2014. En outre, la fiduciaire n'avait pas déposé de comptabilité pour l'année 2014 et l'absence de déclaration de salaire au fisc ne suffisait pas pour exclure l'existence et l'effectivité des relations de travail. La cour cantonale serait ainsi tombée dans l'arbitraire en appuyant son arrêt sur la lettre de la fiduciaire du 30 janvier 2017 qui indiquerait de manière erronée et contradictoire que l'annonce du travail et du salaire du recourant avait été faite seulement après l'accident de juillet 2014. Le recourant soutient enfin que les attestations qu'il a produites démontreraient l'existence d'un rapport de travail et que la cour cantonale ne pouvait pas les écarter sans procéder à l'audition de leurs auteurs.
4.4. En l'occurrence, le recourant s'en prend à l'établissement des faits et l'appréciation des preuves par les premiers juges par une argumentation largement appellatoire. Il ne parvient ainsi pas à démontrer en quoi ceux-ci auraient fait preuve d'arbitraire en retenant que l'existence d'un rapport de travail n'avait pas été établie au degré de la vraisemblance prépondérante appliquée généralement à l'appréciation des preuves dans l'assurance sociale (<ref-ruling> consid. 1 et les références). En l'espèce, les juges cantonaux ont exposé de manière circonstanciée l'ensemble des éléments objectifs qui empêchaient de reconnaître la qualité de travailleur au recourant. Ce faisant, ils ne se sont pas uniquement fondés sur la lettre de la fiduciaire du 30 janvier 2017. En soutenant que la fiduciaire ne fait que supposer l'absence de retenue AVS, le recourant ne prétend d'ailleurs pas que des déductions sociales auraient effectivement été opérées. En outre, on ne voit pas que la fiche de salaire établie pour le mois de janvier 2014 permettrait à elle seule de démontrer l'existence des rapports de travail durant la période indiquée par la société B._ au vu des nombreuses incohérences relevées par les premiers juges. Enfin, le recourant n'explique pas en quoi l'audition des auteurs des attestations qu'il a produites aurait été plus parlante que leurs déclarations écrites et aurait permis d'écarter les critiques émises à cet égard par les premiers juges. Partant, il n'y a pas lieu de revenir sur les constatations de l'arrêt attaqué quant à l'absence de rapports de travail effectifs.
5.
5.1. Le recourant fait valoir que l'<ref-law> ne permettrait pas la révision procédurale sur la base de faits connus ou qui pouvaient être connus en cours de procédure. Aussi l'appréciation nouvelle de l'intimée quant à l'absence de couverture d'assurance ne pourrait-elle pas avoir comme point de départ le courrier de la fiduciaire du 30 janvier 2017 puisque, selon le recourant, cette missive n'amènerait rien de nouveau par rapport à l'extrait de son compte individuel AVS. Par conséquent, le délai de trois mois pour procéder à la révision (<ref-law> [RS 172.021]) et le délai d'une année pour demander la restitution des prestations (<ref-law>) auraient commencé à courir au plus tard à la date à laquelle l'intimée a enregistré l'extrait du compte individuel AVS, soit le 30 mars 2016, de sorte qu'ils n'auraient pas été respectés en l'espèce.
5.2. Le moment à partir duquel la partie aurait pu découvrir le motif de révision invoqué se détermine selon le principe de la bonne foi. Le délai de révision relatif de 90 jours (cf. <ref-law>, applicable en vertu du renvoi de l'<ref-law>) commence à courir dès le moment où la partie a une connaissance suffisamment sûre du fait nouveau ou du moyen de preuve déterminant pour pouvoir l'invoquer, même si elle n'est pas en mesure d'en apporter une preuve certaine; une simple supposition voire même des rumeurs ne suffisent pas et ne sont pas susceptibles de faire débuter le délai de révision (<ref-ruling> consid. 2.4 et les références). Le délai commence à courir si l'assureur social manque de prendre les mesures nécessaires au moment où il aurait pu compléter l'état de fait en faisant preuve de l'engagement attendu et exigible de sa part (arrêt 9C_896/2011 du 31 janvier 2012 consid. 4.2 et l'arrêt cité, in SVR 2012 IV n° 36 p. 140).
En l'espèce, on ne saurait considérer que l'intimée aurait eu une connaissance suffisamment sûre de l'absence de couverture d'assurance dès la réception de l'extrait du compte individuel AVS du recourant. En effet, cette pièce permettait tout au plus de constater l'absence de salaire déclaré à la caisse de compensation. Or le facteur décisif pour la subordination à l'assurance-accidents est la reconnaissance d'un droit au salaire; le paiement effectif du salaire n'est pas déterminant (arrêt 8C_538/2019 précité consid. 2.3 et les références, in SVR 2020 UV n° 22 p. 85). En requérant la production du contrat de travail et des fiches de salaire le 31 mars 2016, comme le relève le recourant dans son mémoire, l'intimée a immédiatement pris les mesures nécessaires pour examiner plus avant la question de l'existence d'une relation de travail. Compte tenu des demandes ultérieures de renseignement de l'intimée auprès de diverses administrations, il n'est pas non plus possible de considérer que les délais des <ref-law> et 25 al. 2 LPGA auraient commencé à courir avant la réception du courrier de la fiduciaire du 30 janvier 2017. Le grief est dès lors mal fondé. Force est de constater que l'intimée a agi en temps utile en procédant à la révision du droit du recourant aux prestations d'assurance et en lui réclamant la restitution des prestations indues par décisions du 13 avril 2017.
6.
Les considérants qui précèdent conduisent au rejet du recours.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 8 juin 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Castella