Faits:
A. A.a G._ a été employé, depuis le 1er juillet 1997, au service de la société X._ SA, à B._ (inscrite au registre du commerce le 17 décembre 1976). Il était également administrateur de cette société et disposait de la signature individuelle.
Les rapports de travail ont été résiliés pour le 30 mars 2007. G._ a sollicité l'octroi de l'indemnité de chômage dès le 2 avril 2007. Le 25 avril 2007, son épouse, M._ a été inscrite au registre du commerce en qualité d'administratrice de la société X._ SA.
Par décision du 30 mai 2007, la caisse cantonale vaudoise de chômage (ci-après: la caisse) a refusé d'indemniser G._, au motif qu'il était le conjoint de l'administratrice et avait, pour cette raison, un pouvoir décisionnel dans l'entreprise. Sous la rubrique finale, « droit à l'indemnité de chômage », l'assuré était rendu expressément attentif au fait qu'en cas d'opposition il devrait continuer durant toute la procédure de produire la formule « Indications de la personne assurée » (ci-après: formule IPA) dans les trois mois qui suivaient le mois revendiqué, afin de conserver son droit à l'indemnité de chômage. Par décision sur opposition du 1er octobre 2007, la caisse a maintenu son refus de prester.
Saisie d'un recours contre cette dernière décision, la Cour de droit administratif et public du Tribunal cantonal vaudois a considéré que l'assuré avait définitivement cessé toute activité dès la résiliation du bail de ses locaux, à la fin du mois de mars 2007, si bien qu'il pouvait en principe prétendre l'indemnité de chômage à partir de cette date, sous réserve que les autres conditions auxquelles est subordonné l'octroi de cette prestation fussent réalisées. Elle a ainsi admis le recours, annulé la décision sur opposition du 1er octobre 2007 et renvoyé la cause à la caisse pour nouvelle décision (jugement du 24 juillet 2008).
Saisie d'un recours contre cette dernière décision, la Cour de droit administratif et public du Tribunal cantonal vaudois a considéré que l'assuré avait définitivement cessé toute activité dès la résiliation du bail de ses locaux, à la fin du mois de mars 2007, si bien qu'il pouvait en principe prétendre l'indemnité de chômage à partir de cette date, sous réserve que les autres conditions auxquelles est subordonné l'octroi de cette prestation fussent réalisées. Elle a ainsi admis le recours, annulé la décision sur opposition du 1er octobre 2007 et renvoyé la cause à la caisse pour nouvelle décision (jugement du 24 juillet 2008).
A.b Par décision du 24 septembre 2008, la caisse a refusé d'indemniser G._ pour la période du 1er mai 2007 au 30 avril 2008 au motif que les formules IPA ne lui étaient parvenues que le 15 août 2008, soit après l'extinction du droit. Par décision sur opposition du 20 mars 2009, la caisse a maintenu sa position.
B. G._ a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal vaudois qui a rejeté le recours par jugement du 18 mars 2010.
C. G._ interjette un recours en matière de droit public contre ce jugement dont il demande la réforme, en ce sens qu'il a droit aux prestations de l'assurance-chômage pour la période du 1er mai 2007 au 30 avril 2008. Il requiert également le renvoi à la caisse pour qu'elle calcule le montant des indemnités journalières en question et procède sans délai au paiement.
La caisse, par sa division juridique, s'en remet à dire de justice, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer.

Considérant en droit:
1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans l'établissement de celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>).
2. 2.1 Aux termes de l'<ref-law>, le droit à l'indemnité de chômage s'éteint s'il n'est pas exercé dans les trois mois suivant la fin de la période de contrôle à laquelle il se rapporte. Les indemnités qui n'ont pas été perçues sont périmées trois ans après la fin de ladite période. Chaque mois civil constitue une période de contrôle (<ref-law>). Les délais prévus par l'article 20 al. 3 LACI sont des délais de péremption qui ne peuvent être ni prolongés ni interrompus, mais peuvent faire l'objet d'une restitution s'il existe une excuse valable pour justifier le retard (<ref-ruling> consid. 3 p. 245; <ref-ruling> consid. 3b p. 124; arrêt 8C_840/2009 du 27 novembre 2009 consid. 3.1; arrêt C 7/03 du 31 août 2004 consid. 3.2, in DTA 2005 n° 11 p. 135).
2.2 Pour exercer son droit à l'indemnité, l'assuré doit remettre à la Caisse les documents énumérés à l'article 29 OACI. L'<ref-law> prévoit qu'au besoin, la caisse lui impartit un délai convenable pour compléter les documents et le rend attentif aux conséquences d'une négligence. Ce délai ne peut et ne doit être accordé que pour compléter les premiers documents et non pour pallier à leur absence (arrêts 8C_840/2009 cité, consid. 3.2; C 7/03 cité, consid. 5.3.2, et C 90/97 du 29 juin 1998 consid. 1b, in DTA 1998 n° 48 p. 281).
3. Il est établi que l'assuré n'a pas remis les formules IPA dans le délai prévu à l'<ref-law> pour la période allant du 1er mai 2007 au 30 avril 2008.
4. Comme en procédure cantonale, le recourant se prévaut du droit à la protection de la bonne foi et se plaint derechef de n'avoir pas été suffisamment renseigné par l'intimée et l'ORP. Il fait valoir, pour l'essentiel, que la seule information relative à son obligation de fournir la formule IPA dans un délai de trois mois (après la fin de la période de contrôle), nonobstant la procédure d'opposition en cours, figurait sur la toute première décision qui lui a été notifiée, soit la décision du 30 mai 2007. En particulier, il reproche à son conseillère ORP de lui avoir indiqué que ces documents ne devaient être remis que s'il obtenait un droit rétroactif.
5. 5.1 Le devoir de conseil de l'assureur social au sens de l'<ref-law> comprend l'obligation d'attirer l'attention de la personne intéressée sur le fait que son comportement pourrait mettre en péril la réalisation de l'une des conditions du droit aux prestations (<ref-ruling> consid. 4.3 p. 480). Les conseils ou renseignements portent sur les faits que la personne qui a besoin de conseils doit connaître pour pouvoir correctement user de ses droits et obligations dans une situation concrète face à l'assureur. Le devoir de conseils s'étend non seulement aux circonstances de faits déterminantes, mais également aux circonstances de nature juridique. Son contenu dépend entièrement de la situation concrète dans laquelle se trouve l'assuré, telle qu'elle est reconnaissable pour l'administration (arrêt 8C_66/2009 du 7 septembre 2009 consid. 8. 3, non publié in <ref-ruling>; ULRICH MEYER, Grundlagen, Begriff und Grenzen der Beratungspflicht der Sozialversicherungsträger nach Art. 27 Abs. 2 ATSG, in: Sozialversicherungsrechtstagung 2006, St-Gall 2006, p. 27 no 35).
5.2 Le défaut de renseignement dans une situation où une obligation de renseigner est prévue par la loi, ou lorsque les circonstances concrètes du cas particulier auraient commandé une information de l'assureur, est assimilé à une déclaration erronée qui peut, sous certaines conditions, obliger l'autorité (en l'espèce l'assureur) à consentir à un administré un avantage auquel il n'aurait pu prétendre, en vertu du principe de la protection de la bonne foi découlant de l'art. 9 Cst. (<ref-ruling> consid. 5 p. 480). D'après la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition que (a) l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées, (b) qu'elle ait agi ou soit censée avoir agi dans les limites de ses compétences et (c) que l'administré n'ait pas pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu. Il faut encore qu'il se soit fondé sur les assurances ou le comportement dont il se prévaut pour d) prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice, et (e) que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (<ref-ruling> consid. 6.1 p. 636 s. et les références citées). Ces principes s'appliquent par analogie au défaut de renseignement, la condition (c) devant toutefois être formulée de la façon suivante: que l'administré n'ait pas eu connaissance du contenu du renseignement omis ou que ce contenu était tellement évident qu'il n'avait pas à s'attendre à une autre information (<ref-ruling> consid. 5 p. 480; arrêt 8C_66/2009 précité, consid. 8.4, non publié in <ref-ruling>).
6. 6.1 En l'espèce, on doit admettre avec les premiers juges que la caisse a rempli son obligation d'informer l'assuré des conséquences de la non-remise des formules IPA dans le délai de trois mois. Elle a clairement averti l'intéressé que cette obligation persistait même en cas de contestation de la décision du 30 mai 2007. Contrairement à ce que soutient le recourant, la caisse n'était pas tenue de répéter cet avertissement trois mois plus tard dans la décision sur opposition. Le Tribunal fédéral a en outre précisé que les mentions écrites sur les formules IPA (ou sur les anciennes cartes de contrôle) répondaient de manière appropriée à l'obligation faite à la caisse de rendre l'assuré attentif à la perte de son droit à l'indemnité en cas de négligence; en outre, l'avertissement donné au préalable quant aux conséquences de l'inobservation suffisait au regard du principe de proportionnalité (arrêt C 12/05 du 13 avril 2006 consid. 4.2.2 et arrêt cité). Par ailleurs, c'est en vain que le recourant reproche à la caisse de ne pas lui avoir accordé un délai supplémentaire au sens de l'<ref-law>. En effet, ainsi qu'il a été exposé au consid. 3.2 supra, ce délai ne saurait être accordé pour pallier l'absence des documents de base.
6.2 Aux termes de l'art. 76 al. 1 let. c LACI en liaison avec l'<ref-law>, les offices régionaux de placement (ORP) constitués en vertu de l'<ref-law> renseignent les assurés sur leurs droits et obligations en matière d'assurance-chômage. C'est dire que l'ORP est également assujetti à l'<ref-law> et aux principes qui en découlent (cf. arrêt C 7/03, cité, consid. 5.3 et 5.4; voir aussi arrêt C 78/93 du 5 octobre 1993 consid. 2, in DTA no 32 p. 228). A cet égard, il y a lieu de constater que lors d'un entretien du 7 novembre 2007 la conseillère ORP a abordé la question des formules IPA. La teneur de cet entretien, telle qu'elle ressort du procès-verbal reproduit dans le jugement cantonal (consid. 3a, p. 10) est la suivante:
« M. G._ a fait recours contre la décision suite à son opposition à la caisse. Remis ipa octobre et novembre 07 et rendu attentif de remettre fiches de GI à la caisse, en même temps que l'IPA si obtenait un droit rétroactif ».
Comme l'ont relevé les premiers juges, cette information semble entrer en contradiction avec les indications figurant dans la décision du 30 mai 2007 et sur les formules IPA qui ont été remises au recourant. A lire le procès-verbal, on peut penser que la conseillère aurait indiqué que l'assuré avait la possibilité de remettre les formules IPA à un stade ultérieur sans perdre son droit aux indemnités. Il n'est dès lors pas exclu que l'assuré ait reçu une information inexacte lors de l'entretien. Toujours est-il qu'à partir du moment où la conseillère du recourant a abordé la question de la remise des formules IPA, elle devait donner à l'intéressé une information claire en attirant son attention sur son obligation de remettre en temps utile les formules en question, nonobstant la procédure en cours, ainsi que sur les conséquences d'une remise tardive. Elle ne l'a visiblement pas fait si l'on se réfère à la teneur pour le moins ambiguë du procès-verbal d'entretien. L'absence d'une information non équivoque à cette occasion peut aussi se déduire d'un courriel que la conseillère a envoyé à la caisse le 6 mai 2009 et qui se termine par ces mots: « Je peux tout au plus vous assurer que connaissant M. G._, de toute bonne foi, il devait attendre l'obtention du droit pour vous remettre ses IPA ». On doit donc admettre un défaut de renseignement au sens de la jurisprudence précitée.
Si le recourant, dont on peut admettre qu'il se trouvait dans l'erreur, avait été renseigné de manière précise lors de l'entretien en question, il aurait sans aucun doute remis sans tarder à la caisse ses formules IPA pour les mois précédents et il aurait régulièrement continué à le faire pour les mois suivants. Ses droits auraient pu en tout cas être sauvegardés dès le mois d'août 2007 (la date d'extinction du droit pour le mois d'août étant le 30 novembre 2007). Il convient en conséquence d'annuler le jugement attaqué ainsi que la décision sur opposition et de renvoyer la cause à la caisse pour qu'elle statue sur le droit à l'indemnité pour les mois d'août 2007 à avril 2008, abstraction faite du délai de péremption prévu à l'<ref-law>.
7. Vu ce qui précède, le recours est bien fondé pour la grande partie. L'intimée qui succombe pour l'essentiel supportera les frais judiciaires (<ref-law>). Par ailleurs, elle versera une indemnité de dépens au recourant, qui est représenté par un avocat (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du 18 mars 2010 de la Cour des assurances sociales du Tribunal cantonal vaudois ainsi que la décision sur opposition du 20 mars 2009 de la caisse cantonale vaudoise de chômage sont annulés.
2. La cause est renvoyée à l'intimée pour nouvelle décision au sens des considérants.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
4. L'intimée versera au recourant un montant de 2'200 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
5. Le Tribunal cantonal vaudois statuera sur les dépens de la procédure cantonale au regard de l'issue du procès de dernière instance.
6. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et au Secrétariat d'Etat à l'économie.
Lucerne, le 14 décembre 2010
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Berset