Faits : A. A._, né en 1965, s'est inscrit à l'Office régional de placement (ORP) le 12 novembre 2018. Il a rempli sa demande d'indemnité de chômage le 14 novembre 2018, en indiquant que sa dernière employeuse était l'association B._, auprès de qui il avait été salarié à temps plein entre le 1 er septembre 2015 et le 31 octobre 2018. Par décision du 12 mars 2019, la Caisse cantonale genevoise de chômage (CCGC) a refusé au prénommé le droit à l'indemnité de chômage. Selon l'inscription portée au Registre du commerce (RC), il était toujours membre secrétaire avec signature individuelle de l'association B._, laquelle déployait encore ses activités; par conséquent, il réunissait en sa personne la double qualité d'employeur et d'employé, de sorte que sa perte de travail était incontrôlable et ne pouvait pas être déterminée. Par décision sur opposition du 27 mai 2019, la CCGC a confirmé sa décision du 12 mars 2019. Elle a retenu que l'épouse de l'assuré, unique représentante avec signature individuelle de B._, occupait au 12 novembre 2018 une position assimilable à celle d'un employeur au sein de cette association, ce qui fondait le refus de la demande d'indemnité de chômage. B. Par jugement du 5 mai 2020, la Chambre des assurances sociales de la Cour de justice de la République et canton de Genève a rejeté le recours formé contre la décision sur opposition. C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme en ce sens que son droit à une indemnité de chômage dès le 12 novembre 2018 soit reconnu. L'intimée conclut au rejet du recours. La cour cantonale et le Secrétariat d'État à l'économie (SECO) ont renoncé à se déterminer.