Faits:
A. A.a Z._, né en 1946, a travaillé dans le domaine des ressources humaines parfois comme directeur salarié parfois comme consultant indépendant au service de différentes sociétés internationales, activités qui ont été entrecoupées par des périodes de chômage en 1998, 2001 et 2004. Il a fondé en mars 1990 la raison individuelle X._, qui est inscrite au registre du commerce et dont le but est le placement de personnel et le conseil d'entreprises. Il a également créé un site Internet Y._. Son dernier emploi était un engagement salarié à plein temps dès le 1er avril 2006 auprès de la société S._ en qualité de conseiller en ressources humaines. Licencié avec effet au 31 mai 2007 pour cause de restructuration, Z._ s'est inscrit à l'assurance-chômage et a demandé des indemnités journalières à partir du 1er juin 2007.
A.b Z._ a informé l'Office régional de placement à N._ (ORP) de l'existence de son entreprise individuelle à l'occasion du premier entretien personnel avec une conseillère. Invité à répondre à un questionnaire sur son activité indépendante et sur ses disponibilités pour un emploi salarié, le prénommé a déclaré que sa société ne l'avait jamais empêché de travailler pour ses anciens employeurs qui avaient été mis au courant, ni n'avait exigé un investissement en temps très important de sa part. Il a précisé que sa disponibilité pour un emploi salarié était totale et qu'il était prêt à se désengager de toute activité au sein de sa société en cas d'engagement comme il l'avait fait par le passé. Au vu de ces réponses, l'ORP a confirmé son aptitude au placement par avis du 21 mai 2007.
A.c Sur la formule "Indications de la personne assurée" du mois de novembre 2007, l'assuré a mentionné qu'il avait exercé une activité indépendante les 3, 10, 17 et 31 octobre précédents, le soir. Selon l'attestation de gain intermédiaire y relative, il s'agissait de cours donnés au Centre F._ pour un montant de 840 fr. Le 5 décembre 2007, Z._ a encore signalé à la Caisse cantonale de chômage qu'il avait omis par inattention de déclarer les honoraires qu'il avait perçus de la société C._ Sàrl pour d'autres cours donnés les 5 juin, 5 juillet et 23 octobre 2007. L'assuré a remboursé les sommes qui lui ont été réclamées par la caisse pour les gains intermédiaires qu'il avait annoncés tardivement.
A.d Le 11 janvier 2008, l'ORP, a informé l'assuré que la facturation de ses prestations au nom de sa raison individuelle constituait un motif de réexamen de son aptitude au placement. Des renseignements lui étaient demandés, notamment sur ses objectifs, son emploi du temps, les investissements consentis dans la société et les comptes de celle-ci. L'intéressé était également requis de s'expliquer sur la circonstance que son nom ou celui de Y._ était mentionné dans des formulaires de recherches d'emploi d'autres assurés.
A.e Z._ s'est déterminé dans plusieurs courriers, insistant sur le fait qu'il était entièrement disponible pour un travail salarié, qu'il se consacrait entièrement à ses recherches d'emploi et non pas à sa société, et qu'il n'avait ni personnel ni associé, mais bénéficiait de l'aide d'un ami, H._ qui s'occupait occasionnellement du bureau. L'assuré a également fourni le résultat des comptes de sa société ainsi qu'une copie de sa déclaration d'impôt relatifs à l'année 2007. Le 21 février 2008, il a annoncé à l'ORP qu'il venait de trouver deux mandats de consultant externe et qu'il renonçait à l'assurance-chômage à partir de janvier 2008.
A.f Par décision du 10 juillet 2008, l'ORP a déclaré Z._ inapte au placement rétroactivement au 1er juin 2007. L'office a retenu que le prénommé avait exercé une activité indépendante et en avait tiré des revenus qu'il n'avait pas déclarés à la caisse, de sorte que son chômage n'était pas contrôlable. Saisi d'une opposition, le Service de l'emploi l'a écartée dans une nouvelle décision du 20 novembre 2009.
B. Par jugement du 25 novembre 2011, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté le recours formé par l'intéressé contre cette dernière décision.
C. Z._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Sous suite de frais et dépens, il invite le Tribunal fédéral à statuer à nouveau et à annuler la décision sur opposition du 20 novembre 2009 du service de l'emploi.
Ce dernier conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des 95 et 96 LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Le recourant ne peut critiquer les constatations de fait des premiers juges que si celles-ci ont été établies de manière manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; également art. 105 al. 2 LTF).
2. 2.1 Aux termes de l'art. 15 al. 1 LACI, est réputé apte à être placé le chômeur qui est disposé à accepter un travail convenable et à participer à des mesures d'intégration, et qui est en mesure et en droit de le faire. L'aptitude au placement comprend deux éléments: la capacité de travail, d'une part, et la disposition à accepter un travail convenable au sens de l'art. 16 LACI, d'autre part. Ce deuxième aspect de l'aptitude au placement implique la volonté de prendre un tel travail s'il se présente (ATF 125 V 51 consid. 6a p. 58; ATF 123 V 214 consid. 3 p. 216).
2.2 Un assuré qui exerce une activité indépendante n'est pas d'entrée de cause, inapte au placement. Il faut bien plutôt examiner si l'exercice effectif d'une activité lucrative indépendante est d'une ampleur telle qu'elle exclut d'emblée toute activité salariée parallèle (arrêt C 160/94 du 13 février 1995 consid. 3, in DTA 1996 no 36 p. 199).
2.3 Pour juger du degré d'engagement dans l'activité indépendante, les investissements consentis, les dispositions prises et les obligations personnelles et juridiques des indépendants qui revendiquent des prestations sont déterminants et doivent ainsi être examinés soigneusement. L'aptitude au placement doit donc être niée lorsque les dispositions que doit prendre l'assuré pour mettre sur pied son activité indépendante entraînent des obligations personnelles et juridiques telles qu'elles excluent d'emblée toute activité salariée parallèle (cf. arrêt C 276/03 du 23 mars 2005 consid. 5; voir aussi ATF 112 V 326 consid. 3d p. 329 s; BORIS RUBIN, Assurance-chômage, 2ème éd., 2006 p. 221). Autrement dit, seules des activités indépendantes dont l'exercice n'exige ni investissement particulier, ni structure administrative lourde, ni dépenses importantes peuvent être prises en considération à titre de gain intermédiaire. On examinera en particulier les frais de matériel, de location de locaux, de création d'une entreprise, l'inscription au registre du commerce, la durée des contrats conclus, l'engagement de personnel impliquant des frais fixes, la publicité faite etc. (BORIS RUBIN, op. cit., p. 221 et note 609).
3. A l'instar de l'administration, la juridiction cantonale a considéré que durant toute sa période de chômage, l'assuré avait vraisemblablement déployé une activité indépendante le rendant inapte au placement. Elle s'est basée sur les éléments suivants. Premièrement, Z._ avait bel et bien consacré du temps à une occupation indépendante puisqu'il avait donné des cours facturés au nom de sa raison individuelle. Deuxièmement, l'extrait des comptes de celle-ci pour l'année 2007 faisait apparaître un chiffre d'affaires de 114'782 fr. 90 correspondant, selon les déclarations de l'assuré, à des honoraires perçus pour le placement de cinq personnes avant le 1er juin 2007. Or, il n'était pas vraisemblable que ces mandats avaient été obtenus durant cette période à moins d'admettre une violation de l'obligation de fidélité à l'égard de l'ancien employeur S._. L'autorisation de ce dernier à l'exercice d'une activité annexe concernait en effet uniquement une activité d'enseignement à l'exclusion de celle de recrutement. Il fallait plutôt retenir que ces mandats avaient été acquis durant le chômage, de sorte qu'il ne pouvait plus être question d'une activité indépendante accessoire et de peu d'importance. Troisièmement, la consultation du domaine Y._ montrait qu'il s'agissait d'un site internet actif et d'un véritable outil de travail pour une activité indépendante durable. Le nom de Z._ et celui de H._ y figurait comme personnes de référence, alors que l'assuré avait parlé du dernier nommé comme d'un ami s'occupant "occasionnellement du bureau". Le fait qu'un autre demandeur d'emploi, Monsieur G._, avait noté sur son formulaire de recherches d'emploi la tenue d'un entretien avec Z._ (et non pas avec son associé) constituait un autre indice que l'intéressé avait poursuivi des activités de placement de personnel. Enfin, la société X._ disposait de locaux situés au 2, rue R._ à V._ pour un loyer mensuel de 843 fr., ce qui n'était pas une charge négligeable. Que la fille de l'intéressé les ait utilisés à titre de résidence privée, comme celui-ci l'avait affirmé ultérieurement, n'était pas non plus crédible.
4. Le recourant invoque une appréciation arbitraire des faits par la juridiction cantonale (art. 9 Cst.). Il lui reproche de n'avoir accordé aucun poids à la circonstance qu'il avait été employé alors que sa société individuelle existait déjà, et de s'être livré à des hypothèses pour retenir qu'il n'était pas disponible pour reprendre un emploi salarié. Il relève que la démonstration que les premiers juges en ont faite à partir des comptes de sa société, de son site internet, de son local commercial ne repose sur aucun élément concret et n'est pas de nature à remettre en cause ni ses déclarations ni ses efforts, documentés au dossier, pour retrouver du travail.
5. En l'occurrence, vu le parcours professionnel de l'assuré et la date de création de sa société, on doit reconnaître que le maintien de celle-ci ne l'a pas empêché d'occuper des emplois salariés à titre principal. On ne saurait donc nier la disponibilité du recourant du seul fait de l'existence de cette raison individuelle. En revanche, il se pose la question de savoir s'il faut tenir pour vraisemblable qu'à partir du 1er juin 2007, Z._ a exercé dans le cadre de sa société une activité indépendante incompatible avec son aptitude au placement.
A cet égard, il ressort des faits établis par les premiers juges qu'il a donné des cours du soir sur mandats à sept reprises. Ces circonstances ne sont toutefois pas décisives. Il s'agit là typiquement d'une activité indépendante peu importante et accessoire dont l'exercice en parallèle au chômage n'est pas de nature à restreindre les possibilités concrètes de l'assuré de trouver un emploi salarié, et qui doit être prise en considération comme gain intermédiaire. Il est également établi que la société X._ a généré en 2007 un chiffre d'affaires de 114'782 fr. 90 résultant du placement de cinq personnes. Avec les premiers juges, on doit certes convenir que s'il devait s'avérer que ce montant provient d'une activité déployée par Z._ durant son chômage, il serait légitime de déduire que celui-ci avait, contrairement à ses allégués, redonné de l'importance à son occupation indépendante. Cela pourrait le cas échéant conduire à nier le caractère contrôlable de son chômage. En l'état du dossier toutefois, le raisonnement consistant à dire que l'activité en cause s'est forcément déroulée durant la période de chômage compte tenu des termes de l'autorisation accordée par l'ex-employeur relève, à défaut de tout élément de preuve contraire, de la simple conjecture. Il en va de même des déductions que le tribunal cantonal a tirées du site Internet et de la location des locaux sis à la rue R._. D'une part, l'assuré avait pris ces dispositions déjà du temps où il exerçait une activité salariée. D'autre part, le maintien de son site Internet n'implique pas qu'il ait effectivement fourni les services proposés. A cela s'ajoute qu'il est discutable d'écarter les explications du recourant sur les différents points pouvant susciter un doute sans même donner suite à sa demande d'audition de H._ grâce auquel il entendait prouver ses allégations. En vérité, il y a lieu de constater que l'instruction du cas est insuffisante pour trancher la question litigieuse.
Il convient par conséquent d'annuler le jugement entrepris et de renvoyer la cause à la juridiction cantonale afin qu'elle en complète l'instruction, notamment en requérant de Z._ la production de tout document propre à attester ses déclarations relatives à la réalisation des mandats de placement de personnel ayant généré le chiffre d'affaires de 114'782 fr. 90, et en procédant à l'audition de H._ voire le cas échéant à celle de Monsieur G._. Dans cette mesure, le recours doit être admis.
6. Vu l'issue du litige, le recourant peut prétendre une indemnité de dépens à la charge de l'intimé (art. 68 al. 1 LTF). Par ailleurs, il n'y a pas lieu de prélever des frais judiciaires bien que le Service de l'emploi succombe (art. 66 al. 4 LTF; ATF 133 V 640 consid. 4.5 p. 642).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le jugement de la Cour des assurances sociales du Tribunal cantonal vaudois du 25 novembre 2011 est annulé, la cause étant renvoyée à la juridiction cantonale pour instruction complémentaire au sens des considérants et nouveau jugement.
2. Il n'est pas perçu de frais judiciaires.
3. L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 31 janvier 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Ursprung
La Greffière: von Zwehl