Faits : A. A.a. A._ a travaillé comme plâtrier pour B._ Sàrl. Le 25 janvier 2016, il a chuté et s'est blessé à l'épaule droite. La Caisse nationale suisse d'assurance en cas d'accidents (CNA), auprès de laquelle il était assuré obligatoirement contre le risque d'accidents, a pris en charge le cas. Par décision du 13 mars 2018, la CNA a refusé d'octroyer à l'assuré une indemnité pour atteinte à l'intégrité (IPAI), au motif qu'il ne souffrait pas d'une atteinte importante à l'intégrité physique. Dès lors qu'il présentait une pleine capacité de travail dès le 1 er septembre 2017, la question de l'octroi d'autres prestations ne se posait pas. A.b. Par déclaration de sinistre du 8 novembre 2017, l'intéressé a signalé à Helsana Assurances SA (ci-après: Helsana), assurance collective d'indemnités journalières en cas de maladie de son employeur, qu'il ne travaillait plus depuis le 27 octobre 2017 en raison de douleurs à un orteil du pied droit. A.c. Le 5 avril 2018, A._ a appelé la CNA. Selon la notice téléphonique de l'assureur, il a notamment évoqué des douleurs à l'épaule droite pour lesquelles il avait consulté un médecin le jour même. Par déclaration de sinistre du 28 mai 2018, l'employeur a annoncé à la CNA que le 27 octobre 2017, son employé s'était déchiré les ligaments de l'épaule droite en glissant d'une échelle et en se retenant avec les mains sur les murs. Par décision du 28 février 2019, confirmée sur opposition le 24 juin 2019, la CNA a refusé d'allouer à l'assuré des prestations en lien avec la déclaration de sinistre du 28 mai 2018, au motif que la survenance d'un accident le 27 octobre 2017 n'avait pas été rendue vraisemblable. B. Saisie d'un recours contre la décision sur opposition, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud l'a rejeté par jugement du 9 mars 2020. C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme en ce sens que le droit à des prestations liées au sinistre du 27 octobre 2017 lui soit reconnu. A titre subsidiaire, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.