Faits: Faits: A. Depuis le mois d'octobre 1995, M._ et son épouse A._ M._ étaient associés-gérants de la société C._ Sàrl, devenue par la suite «M._ Sàrl». Tous deux disposaient de la signature individuelle. La société, dont le but social était l'exploitation de cafés-restaurants et d'établissements publics de tout genre, exploitait sous l'enseigne «P._» un restaurant. L'inscription concernant M._ a été radiée du Registre du commerce du canton de Vaud le 12 septembre 2003, date à partir de laquelle son épouse est devenue seule associée-gérante de la société. La dissolution de celle-ci a été décidée le 21 novembre 2005; l'inscription au Registre du commerce de la dissolution et de l'entrée en liquidation de M._ Sàrl a eu lieu le 30 novembre 2005. Entre-temps, après son licenciement au 30 avril 2003, M._ s'est annoncé à l'assurance-chômage en demandant à bénéficier des indemnités de chômage dès le 27 mai 2003. Par décision du 13 novembre 2003, la Caisse publique cantonale vaudoise de chômage (ci-après: la caisse) a rejeté la demande de prestations, au motif que l'assuré avait une position dirigeante au sein de la société qui l'avait employé. Celui-ci a déféré la décision au Service de l'emploi du canton de Vaud qui l'a débouté pour les mêmes motifs (décision du 23 décembre 2005). Entre-temps, après son licenciement au 30 avril 2003, M._ s'est annoncé à l'assurance-chômage en demandant à bénéficier des indemnités de chômage dès le 27 mai 2003. Par décision du 13 novembre 2003, la Caisse publique cantonale vaudoise de chômage (ci-après: la caisse) a rejeté la demande de prestations, au motif que l'assuré avait une position dirigeante au sein de la société qui l'avait employé. Celui-ci a déféré la décision au Service de l'emploi du canton de Vaud qui l'a débouté pour les mêmes motifs (décision du 23 décembre 2005). B. Saisi d'un recours formé par M._ contre cette décision, le Tribunal administratif du canton de Vaud l'a rejeté par jugement du 16 mai 2006. B. Saisi d'un recours formé par M._ contre cette décision, le Tribunal administratif du canton de Vaud l'a rejeté par jugement du 16 mai 2006. C. L'assuré interjette un recours de droit administratif contre ce jugement, dont il demande la réforme, en ce sens que soit reconnu son droit à des indemnités de chômage à partir du 1er mai 2003, puis dès le 8 septembre 2003, le droit à des indemnités réduites en fonction d'un taux d'activité à déterminer par la caisse. A titre subsidiaire, il demande le renvoi de la cause à la juridiction cantonale pour instruction complémentaire et nouveau jugement. La caisse s'en remet à justice. De son côté, le Service vaudois de l'emploi conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer.