Faits: Faits: A. O._ a été engagé le 1er décembre 2000 par l'entreprise X._ en qualité de directeur général. Il est également devenu actionnaire de la société et membre du conseil d'administration. Le 27 janvier 2005, il a résilié son contrat de travail pour le 31 juillet suivant, et démissionné avec effet immédiat du conseil d'administration. Le 20 juin 2005, il s'est inscrit au chômage, demandant des indemnités de chômage à partir du 1er août. Après avoir invité l'assuré à s'expliquer sur les motifs de sa résiliation (lettre du 20 juin 2005), la Caisse cantonale de chômage du canton de Vaud (ci-après : la caisse) a rendu le 12 juillet 2005 une décision, par laquelle elle a suspendu l'intéressé dans l'exercice de son droit aux prestations pour une durée de 31 jours, considérant qu'il avait commis une faute grave en résiliant son contrat de travail. Saisie d'une opposition, la caisse a confirmé sa position initiale dans une nouvelle décision du 15 novembre 2005. Après avoir invité l'assuré à s'expliquer sur les motifs de sa résiliation (lettre du 20 juin 2005), la Caisse cantonale de chômage du canton de Vaud (ci-après : la caisse) a rendu le 12 juillet 2005 une décision, par laquelle elle a suspendu l'intéressé dans l'exercice de son droit aux prestations pour une durée de 31 jours, considérant qu'il avait commis une faute grave en résiliant son contrat de travail. Saisie d'une opposition, la caisse a confirmé sa position initiale dans une nouvelle décision du 15 novembre 2005. B. Par jugement du 20 juin 2006, le Tribunal administratif du canton de Vaud a rejeté le recours formé par l'assuré contre la décision sur opposition de la caisse. B. Par jugement du 20 juin 2006, le Tribunal administratif du canton de Vaud a rejeté le recours formé par l'assuré contre la décision sur opposition de la caisse. C. O._ interjette un recours de droit administratif contre ce jugement, dont il requiert l'annulation. Sous suite de dépens, il conclut, principalement, à ce que des indemnités journalières lui soient versées dès le 1er août 2005 et, subsidiairement, à ce que sa faute soit qualifiée de légère et la durée de la sanction ramenée à 5 jours. La caisse s'en remet à justice, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer.