Faits: A. Z._, né en 1969, a travaillé en qualité d'officier professionnel au service du Département fédéral de la défense, de la protection de la population et des sports (DDPS) du 1 er juillet 1991 au 31 août 2010, date à laquelle il a résilié son contrat de travail. Il a requis des prestations de l'assurance-chômage à partir du 1 er septembre 2010. Dans sa demande, il a indiqué avoir perçu, outre le salaire dû, un montant en capital de 254'253 fr. 10. L'employeur a attesté que ce montant avait été versé au titre d'indemnité en cas de cessation des rapports de travail avant l'âge ouvrant droit à la préretraite. Par décision du 27 septembre 2010, confirmée sur opposition le 22 mars 2011, la Caisse cantonale de chômage du canton de Vaud (ci-après: la caisse) a différé le début du droit à l'indemnité de chômage au 19 mai 2011. En résumé, elle a considéré que le montant en capital perçu par l'assuré constituait une prestation volontaire de l'employeur en cas de résiliation des rapports de travail au sens de l'art. 11a LACI. Aussi a-t-elle retenu que la perte de travail ne devait pas être prise en considération aussi longtemps que la part du capital perçu qui excédait le montant maximum du gain assuré dans l'assurance-accidents obligatoire - soit 126'000 fr. en 2010 - couvrait la perte de revenu découlant de la résiliation des rapports de travail. B. Saisie d'un recours de l'assuré qui concluait à l'octroi de l'indemnité de chômage à partir du 1 er septembre 2010, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud l'a rejeté par jugement du 17 avril 2012. C. Z._ forme un recours en matière de droit public contre ce jugement en concluant, sous suite de frais et dépens, à l'octroi de l'indemnité de chômage dès le 1 er septembre 2010. Subsidiairement, il demande l'annulation du jugement attaqué et le renvoi de la cause à la juridiction cantonale pour nouvelle décision. La caisse intimée s'en remet à justice tout en indiquant confirmer son point de vue selon lequel le montant en capital perçu entraîne un report du délai-cadre d'indemnisation. La juridiction cantonale et le Secrétariat d'Etat à l'économie (Seco) ont renoncé à présenter des déterminations.