Faits: A. A.a G._ a été employé, depuis le 1er juillet 1997, au service de la société X._ SA, à B._ (inscrite au registre du commerce le 17 décembre 1976). Il était également administrateur de cette société et disposait de la signature individuelle. Les rapports de travail ont été résiliés pour le 30 mars 2007. G._ a sollicité l'octroi de l'indemnité de chômage dès le 2 avril 2007. Le 25 avril 2007, son épouse, M._ a été inscrite au registre du commerce en qualité d'administratrice de la société X._ SA. Par décision du 30 mai 2007, la caisse cantonale vaudoise de chômage (ci-après: la caisse) a refusé d'indemniser G._, au motif qu'il était le conjoint de l'administratrice et avait, pour cette raison, un pouvoir décisionnel dans l'entreprise. Sous la rubrique finale, « droit à l'indemnité de chômage », l'assuré était rendu expressément attentif au fait qu'en cas d'opposition il devrait continuer durant toute la procédure de produire la formule « Indications de la personne assurée » (ci-après: formule IPA) dans les trois mois qui suivaient le mois revendiqué, afin de conserver son droit à l'indemnité de chômage. Par décision sur opposition du 1er octobre 2007, la caisse a maintenu son refus de prester. Saisie d'un recours contre cette dernière décision, la Cour de droit administratif et public du Tribunal cantonal vaudois a considéré que l'assuré avait définitivement cessé toute activité dès la résiliation du bail de ses locaux, à la fin du mois de mars 2007, si bien qu'il pouvait en principe prétendre l'indemnité de chômage à partir de cette date, sous réserve que les autres conditions auxquelles est subordonné l'octroi de cette prestation fussent réalisées. Elle a ainsi admis le recours, annulé la décision sur opposition du 1er octobre 2007 et renvoyé la cause à la caisse pour nouvelle décision (jugement du 24 juillet 2008). Saisie d'un recours contre cette dernière décision, la Cour de droit administratif et public du Tribunal cantonal vaudois a considéré que l'assuré avait définitivement cessé toute activité dès la résiliation du bail de ses locaux, à la fin du mois de mars 2007, si bien qu'il pouvait en principe prétendre l'indemnité de chômage à partir de cette date, sous réserve que les autres conditions auxquelles est subordonné l'octroi de cette prestation fussent réalisées. Elle a ainsi admis le recours, annulé la décision sur opposition du 1er octobre 2007 et renvoyé la cause à la caisse pour nouvelle décision (jugement du 24 juillet 2008). A.b Par décision du 24 septembre 2008, la caisse a refusé d'indemniser G._ pour la période du 1er mai 2007 au 30 avril 2008 au motif que les formules IPA ne lui étaient parvenues que le 15 août 2008, soit après l'extinction du droit. Par décision sur opposition du 20 mars 2009, la caisse a maintenu sa position. B. G._ a déféré cette décision à la Cour des assurances sociales du Tribunal cantonal vaudois qui a rejeté le recours par jugement du 18 mars 2010. C. G._ interjette un recours en matière de droit public contre ce jugement dont il demande la réforme, en ce sens qu'il a droit aux prestations de l'assurance-chômage pour la période du 1er mai 2007 au 30 avril 2008. Il requiert également le renvoi à la caisse pour qu'elle calcule le montant des indemnités journalières en question et procède sans délai au paiement. La caisse, par sa division juridique, s'en remet à dire de justice, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer.