Faits: A. A.a Comptable de formation, C._ a bénéficié de l'indemnité de chômage depuis 1997, essentiellement en travaillant par intermittence au service de l'entreprise X._, exploitée en raison individuelle par Y._. Il a exercé en dernier lieu la fonction de directeur administratif de cette entreprise (du 6 septembre 2004 au 11 février 2005, puis du 1er juin au 31 octobre 2005 ainsi que du 1er décembre 2005 au 31 janvier 2006) et revendiqué derechef l'indemnité de chômage à partir du 1er février 2006. Par décision du 1er septembre 2006, la Caisse cantonale de chômage du canton de Vaud (ci-après: la caisse) a nié le droit de C._ à l'indemnité prétendue au motif qu'il n'avait pas établi avoir perçu effectivement un salaire à compter du 6 septembre 2004. Saisie d'une opposition du prénommé, la caisse l'a rejetée par une nouvelle décision du 25 mai 2007. A.b Le 29 mai 2007, C._ a déféré la décision sur opposition de la caisse au Tribunal administratif du canton de Vaud. Statuant le 28 août 2007, la juridiction cantonale a annulé cette décision et renvoyé la cause à la caisse pour qu'elle instruise de manière plus approfondie la question de l'existence des rapports de travail et qu'elle examine si la fonction de directeur administratif que remplissait l'assuré au sein de l'entreprise X._ ne devait pas être assimilée à celle d'un employeur. A.c Le 22 octobre 2007, C._ a informé la caisse qu'il serait absent du 29 octobre 2007 au 31 janvier 2008. Par lettre du 28 novembre 2007, la caisse a invité Y._ à lui faire parvenir une copie de sa comptabilité pour les années 2004 à 2006, le détail du compte salaire, le nom de tous les employés présents de 2004 à 2006 avec leurs fiches de salaire, leurs contrats de travail et les preuves de cotisations à l'AVS. Elle a également demandé au prénommé de lui indiquer pour quelle raison le salaire élevé de l'assuré avait été versé en espèces. Lors d'un entretien téléphonique du 4 décembre 2007, Y._ a expliqué qu'il ne pourrait fournir ces documents qu'au retour de son comptable, soit le 10 janvier 2008. Le 14 janvier 2008, Y._ a précisé qu'il n'estimait pas que le salaire de C._ était trop élevé. A.d Dans sa décision sur opposition du 27 mars 2008, la caisse a confirmé sa décision de refus du droit à l'indemnité de chômage au motif que l'assuré exerçait une fonction dirigeante au sein de l'entreprise X._. B. C._ a déféré cette nouvelle décision sur opposition au Tribunal des assurances du canton de Vaud (actuellement Cour des assurances sociales du Tribunal cantonal vaudois). Il faisait valoir en substance qu'il n'était ni associé, ni sociétaire, ni membre de la direction, qu'il n'avait aucune participation financière dans l'entreprise et qu'il avait été engagé pour des périodes de travail déterminées. Statuant le 28 octobre 2008, la juridiction cantonale a rejeté le recours. C. C._ interjette une recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant à que ce son droit à l'indemnité de chômage lui soit reconnu. La caisse déclare s'en remettre à justice tandis que le Secrétariat Etat à l'économie a renoncé à se déterminer.