Faits :
A.
A._ a travaillé en qualité de livreur au service de l'entreprise B._ Sàrl à un taux d'activité de 50 %. Le 25 janvier 2012, il a été licencié avec effet au 31 mars 2012, pour des motifs économiques. Parallèlement à cette activité, l'intéressé exerçait celle de concierge à un taux de 25 % pour le compte de la Société C._. Le 9 février 2012, il a déposé une demande d'indemnité de chômage en indiquant être disposé à travailler à un taux de 50 %. Un délai-cadre d'indemnisation a été ouvert du 1 er avril 2012 au 31 mars 2014.
A la demande de D._, gestionnaire en charge du dossier auprès de la caisse de chômage Unia à Lausanne, l'assuré a fait parvenir à cette dernière, le 10 avril 2012, une copie de son contrat de travail de conciergerie ainsi que les fiches de salaire y afférentes pour les mois de février et mars 2012. Par pli du 11 avril 2012, D._ a en outre invité l'assuré à lui faire parvenir le formulaire "confirmation d'inscription" remis par l'Office régional de placement (ORP), avec un taux de 75 %. Il justifiait sa requête par ces termes écrits ultérieurement à la main et figurant au bas de cette lettre: "cet assuré avait un emploi à 50 % + un autre à 25 % qui continue". Par courriel du 17 avril 2012, D._ a confirmé à la conseillère en placement de l'assuré que ce dernier devait être inscrit à 75 %. Le 19 avril 2012, D._ a informé l'assuré que son gain assuré avait été fixé à 3'805 fr. et son indemnité journalière à 140 fr. 30 brut. Sur les formulaires "Indications de la personne assurée" (IPA) d'avril à décembre 2012, l'assuré a indiqué avoir travaillé au service de E._ Sàrl. De janvier 2013 à juillet 2013, il a mentionné avoir oeuvré pour le compte de F._ SA puis, dès le mois de février 2013 jusqu'en juillet 2013, il a déclaré avoir travaillé pour la société G._ Sàrl.
A la suite d'une révision du Secrétariat d'Etat à l'économie (SECO) des 8-10 juillet 2013, la caisse de chômage a invité la société C._ à lui transmettre les formulaires "Attestation de gain intermédiaire" concernant l'assuré pour les mois d'avril 2012 à juin 2013 ainsi qu'une copie des fiches de salaire pour la même période. Par décision du 27 novembre 2013, elle a réclamé à A._ la restitution de 15'476 fr. 05, correspondant au montant des prestations versées en trop en raison de "la non-prise en considération de [son] emploi mensuel provenant de [son] activité de concierge non professionnel à 25 % ainsi que [des] vacances et 13 ème salaire auprès de G._ Sàrl". L'assuré s'est opposé à cette décision. Par décision sur opposition du 10 avril 2014, la caisse de chômage a rejeté l'opposition et confirmé sa décision du 27 novembre 2013.
B.
A._ a recouru contre la décision sur opposition. Statuant le 9 septembre 2016, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a admis le recours et annulé la décision attaquée. Elle a considéré que la caisse de chômage était déchue de son droit de réclamer la restitution des prestations indues.
C.
La caisse de chômage forme un recours en matière de droit public contre ce jugement dont elle demande l'annulation en concluant, principalement, à la confirmation de sa décision sur opposition du 10 avril 2014 et, subsidiairement, au renvoi de l'affaire à la juridiction cantonale pour nouveau jugement.
L'intimé conclut à la confirmation de l'arrêt attaqué, subsidiairement au renvoi de la cause à la juridiction cantonale pour nouvelle décision.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le point de savoir si la caisse de chômage était fondée, par sa décision sur opposition du 10 avril 2014, à réclamer la restitution des prestations d'assurance-chômage indûment perçues. Singulièrement, il concerne la péremption éventuelle du droit de la recourante de demander la restitution. N'est en revanche pas litigieux la question de la remise de l'obligation de restituer.
3.
3.1. Aux termes de l'art. 25 al. 1 er, 1ère phrase, LPGA, les prestations indûment touchées doivent être restituées. Selon la jurisprudence, cela implique que soient réunies les conditions d'une reconsidération (cf. art. 53 al. 2 LPGA) ou d'une révision procédurale (cf. art. 53 al. 1 er LPGA) de la décision par laquelle les prestations ont été accordées (<ref-ruling> consid. 5.2 p. 320). En ce qui concerne plus particulièrement la révision, l'obligation de restituer des prestations indûment touchées et son étendue dans le temps ne sont pas liées à une violation de l'obligation de renseigner (<ref-ruling> consid. 2e p. 139). Il s'agit simplement de rétablir l'ordre légal, après la découverte du fait nouveau.
3.2. En vertu de l'art. 25 al. 2, première phrase, LPGA, le droit de demander la restitution s'éteint un an après le moment où l'institution a eu connaissance du fait, mais au plus tard cinq ans après le versement de la prestation. Il s'agit de délais (relatif et absolu) de péremption, qui doivent être examinés d'office (<ref-ruling> consid. 2.1 p. 525).
4.
4.1. Le premier juge a retenu que la caisse de chômage savait que l'intimé effectuait un travail de concierge à raison de 25 %, respectivement n'entendait requérir l'aide de l'assurance que pour compenser sa perte d'emploi à 50 % et que c'était à la demande du gestionnaire de la caisse que l'inscription avait été modifiée pour être portée à 75 %. Toujours selon le premier juge, c'était le gestionnaire qui avait demandé à l'assuré de lui faire parvenir son contrat de travail ainsi que les attestations de salaire y afférentes relatifs à son emploi de concierge. Enfin, l'instruction avait permis d'établir que c'était en mains dudit gestionnaire qu'étaient parvenues les IPA durant tout le délai d'indemnisation de l'assuré. Le premier juge a considéré qu'il n'y avait pas lieu de douter de la bonne foi de l'assuré, ce dernier pouvant raisonnablement penser que son emploi conservé à 25 % était considéré comme un gain accessoire échappant à la logique de l'indemnisation, celle-ci ne portant que sur la disponibilité restante de 75 % dans le cadre de laquelle il avait dûment annoncé les gains intermédiaires réalisés. En procédant chaque mois à l'examen des IPA tout en requérant systématiquement les pièces afférentes aux gains intermédiaires déclarés, le gestionnaire de la caisse ne pouvait ignorer, toujours selon la juridiction cantonale, l'emploi et la rémunération de concierge conservés à 25 %. Il disposait en outre de toutes les pièces utiles à cet égard, de sorte qu'en vouant au cas de son assuré l'attention requise par les circonstances, il disposait des éléments qui fondaient l'indu, dans son principe et sa quotité. Dans ces circonstances, le premier juge a retenu que le comportement du gestionnaire ne procédait pas d'une simple erreur de calcul, mais bien d'un comportement qui justifiait de fixer le début du délai au moment où le gestionnaire aurait été en mesure de rendre une décision de restitution s'il avait fait preuve de l'attention que l'on pouvait raisonnablement exiger de lui. Au vu du dossier que le gestionnaire de la caisse de chômage avait constitué, lequel comprenait les pièces afférentes à l'emploi de concierge qu'il avait réclamées, le premier juge a considéré que le délai de péremption avait commencé à courir immédiatement, soit dès les premiers versements d'indemnités, entre avril et juin 2012. En attendant le mois de novembre 2013 pour réclamer à l'assuré le remboursement des prestations versées indûment, la caisse avait laissé la créance se périmer.
4.2. De son côté, la recourante admet avoir commis une erreur, en omettant de faire une notice de rappel dans le dossier de l'intimé, selon laquelle ce dernier conservait son emploi de concierge. Cette erreur, doublée de celle de l'assuré qui n'avait pas inscrit cet emploi sur les formulaires IPA, avait abouti à la décision de restitution. La caisse n'avait cependant pris connaissance de son erreur qu'au moment de la réception du rapport de révision du SECO, des 8-10 juillet 2013. Elle avait immédiatement réagi en envoyant un courrier à la société C._ le 11 juillet 2013 afin de compléter l'instruction, puis en réclamant les prestations versées indûment dans le délai d'une année depuis le moment où elle s'était rendue compte de son erreur.
4.3. L'intimé ne conteste pas que les prestations dont la caisse de chômage exige la restitution lui ont été versées indûment. Il s'oppose cependant à la restitution, pour les motifs invoqués par les premiers juges.
5.
5.1. Selon la jurisprudence, le délai de péremption relatif d'une année commence à courir dès le moment où l'administration aurait dû connaître les faits fondant l'obligation de restituer, en faisant preuve de l'attention que l'on pouvait raisonnablement exiger d'elle (<ref-ruling> précité consid. 2.1 p. 525; <ref-ruling> consid. 4.1 p. 8). L'administration doit disposer de tous les éléments qui sont décisifs dans le cas concret et dont la connaissance fonde - quant à son principe et à son étendue - la créance en restitution à l'encontre de la personne tenue à restitution (<ref-ruling> déjà cité consid. 2.1 p. 525; <ref-ruling> consid. 3 p. 17). Si l'administration dispose d'indices laissant supposer l'existence d'une créance en restitution, mais que les éléments disponibles ne suffisent pas encore à en établir le bien-fondé, elle doit procéder, dans un délai raisonnable, aux investigations nécessaires. A défaut, le début du délai de péremption doit être fixé au moment où elle aurait été en mesure de rendre une décision de restitution si elle avait fait preuve de l'attention que l'on pouvait raisonnablement exiger d'elle. Dans tous les cas, le délai de péremption commence à courir immédiatement s'il s'avère que les prestations en question étaient clairement indues (arrêt 9C_454/2012 du 18 mars 2013 consid. 4 non publié in <ref-ruling> et les références).
Cependant, lorsque la restitution est imputable à une faute de l'administration, on ne saurait considérer comme point de départ du délai d'une année le moment où l'erreur a été commise par l'administration, mais le moment auquel celle-ci aurait dû, dans un deuxième temps (par exemple à l'occasion d'un contrôle) se rendre compte de son erreur en faisant preuve de l'attention requise. En effet, si l'on plaçait le moment de la connaissance du dommage à la date du versement indu, cela rendrait souvent illusoire la possibilité pour l'administration de réclamer le remboursement de prestations allouées à tort en cas de faute de sa part (<ref-ruling> consid. 1 p. 383; arrêt 8C_968/2012 du 18 novembre 2013 consid. 2.2).
5.2. En l'espèce, il ressort de la décision de restitution que la caisse n'a pas pris en considération le revenu mensuel fixe de 1'554 fr. 60 provenant de l'activité de concierge à 25 % et qu'elle n'a pas non plus calculé correctement la part de salaire correspondant aux vacances prises par l'intimé du 30 juillet 2012 au 18 août 2012. Il est en outre établi que la caisse a eu connaissance du contrat de travail de conciergerie de l'intimé ainsi que de ses fiches de salaire y afférentes pour les mois de février et mars 2012. Elle ne s'est cependant pas rendue compte, au moment où elle a commencé à verser les prestations de chômage au mois d'avril 2012, qu'il y avait également lieu de tenir compte du gain intermédiaire réalisé dans l'activité de concierge pour calculer les indemnités de chômage auxquelles l'intimé avait droit. Ceci peut s'expliquer, en partie tout au moins, par le fait que l'intimé n'avait pas mentionné ce gain intermédiaire sur les formulaires IPA. Ce n'est que dans un deuxième temps, à savoir au moment où elle a pris connaissance du rapport de contrôle du SECO, des 8-10 juillet 2013, que la caisse de chômage a remarqué son erreur initiale et qu'elle a interpellé la société C._. Aussi, en réclamant la restitution des prestations par sa décision du 27 novembre 2013, la caisse a-t-elle respecté le délai d'une année à compter du moment où elle a eu connaissance des faits ayant fondé sa demande de restitution.
5.3. Compte tenu de la solution inverse à laquelle est parvenue la juridiction cantonale, celle-ci ne s'est pas prononcée sur l'étendue de la restitution. Dans la mesure où ce point n'est pas contesté par l'intimé (cf. consid. 4.3 supra), il n'y a pas lieu de renvoyer la cause à la juridiction cantonale pour qu'elle l'examine.
6.
6.1. La juridiction cantonale semble admettre par une argumentation subsidiaire que l'intimé pouvait aussi se prévaloir du droit constitutionnel à la protection de la bonne foi découlant de l'art. 9 Cst. (pour un rappel des conditions, voir <ref-ruling> consid. 6.2 p. 538). Elle a retenu qu'il s'était abstenu de déclarer le gain de son emploi de concierge au titre du gain intermédiaire car il avait été induit en erreur par la caisse, laquelle était intervenue dans une situation concrète, dans les limites de sa compétence, sans que l'assuré ait pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu.
Même en admettant que l'administration ait pu induire en erreur, cela ne justifierait pas que l'on renonce à la restitution des prestations versées à tort. En effet, rien n'indique que l'intimé aurait pris des dispositions qu'il ne pourrait plus modifier sans subir de préjudice. Le seul fait d'avoir dépensé des prestations pécuniaires perçues de bonne foi ne constitue pas, en soi, un acte de disposition irrévocable dont pourrait se prévaloir un assuré en invoquant le droit constitutionnel à la protection de la bonne foi (cf. arrêt 8C_796/2007 du 22 octobre 2008 in DTA 2009 86 consid. 3.1 et les références citées).
6.2. Quant à la bonne foi en tant que condition de la remise de l'obligation de restituer (cf. art. 25 al. 1, seconde phrase, LPGA), elle n'est pas litigieuse à ce stade. Elle devra être examinée lors d'une éventuelle demande de remise, qu'il appartiendra à l'assuré de présenter.
7.
Vu ce qui précède, le recours se révèle bien fondé et le jugement attaqué doit être annulé.
8.
L'intimé, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1, 1ère phrase, LTF). La caisse n'a pas droit à des dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud du 9 septembre 2016 est annulée et la décision sur opposition de la caisse de chômage du 10 avril 2014 est confirmée.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 5 juillet 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin