Faits :
A.
X._, domicilié à A._, exploitait en raison individuelle des boutiques de prêt-à-porter à Lausanne et à Genève, jusqu'au prononcé de sa faillite personnelle le 28 mars 2011. A l'issue de la liquidation de ses biens, des actes de défaut de biens pour un montant total de 524'815 fr. ont été délivrés aux créanciers.
Les comptes déposés avec les déclarations d'impôts des périodes fiscales 2010 et 2011 montrent des pertes commerciales s'élevant à 86'188 fr respectivement à 189'762 fr. Les décisions de taxation de ces périodes font état d'un revenu et d'une fortune imposables nuls.
Dans sa déclaration d'impôts de la période fiscale 2012, X._ a indiqué un revenu brut relatif à son activité lucrative dépendante de comptable se montant à 93'437 fr.; il y a également mentionné un bénéfice de 4'250 fr. provenant d'une nouvelle activité indépendante accessoire. Par décision de taxation du 28 avril 2014, l'Office d'impôt du district de Nyon a retenu un revenu imposable pour l'impôt cantonal et communal 2012 de 74'200 fr. et de 74'500 fr. pour l'impôt fédéral direct 2012. La fortune imposable était nulle. Ledit office a refusé de déduire du revenu imposable le report de perte de 41'806 fr. sollicité.
La déclaration d'impôts relative à la période fiscale 2013 faisait état d'un revenu de l'activité salariée de comptable de 82'287 fr., ainsi qu'un bénéfice provenant d'une activité lucrative indépendante accessoire de 5'177 fr. Par décision de taxation du 6 octobre 2014, l'office compétent a fixé le revenu imposable pour l'impôt cantonal et communal 2013 à 77'500 fr. et à 77'800 fr. pour l'impôt fédéral direct 2013. La fortune imposable était nulle. Ledit office a refusé de déduire le report de perte de 79'571 fr. requis.
L'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a rejeté, le 11 mars 2015, les réclamations de X._ à l'encontre des décisions de taxations relatives aux périodes fiscales 2012 et 2013.
B.
Par arrêt du 5 février 2016, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a admis le recours de X._ et a annulé la décision sur réclamation du 11 mars 2015 de l'Administration cantonale, le dossier lui étant renvoyé pour une nouvelle décision dans le sens des considérants. Il a en substance jugé que X._ exerçait, à côté de son travail de salarié, une activité lucrative indépendante et qu'en conséquence le report de pertes requis pour les années en cause devait être admis, celui-ci n'étant au demeurant pas abusif. En ce qui concerne la qualification d'activité lucrative indépendante, l'arrêt attaqué a retenu que le chiffre d'affaires 2012, de 5'150 fr., provenait de la vente d'un stock d'habits pour 700 fr. et de l'établissement de déclarations d'impôts pour des clients; en 2013, le chiffre d'affaires s'élevait à 6'780 fr. et avait été réalisé uniquement grâce aux services fiscaux. Lors d'une comparution personnelle, X._ avait expliqué qu'il parvenait à se constituer une clientèle, qui était composée d'une cinquantaine de personnes, en publiant des petites annonces; il ne possédait pas de récépissés afférents aux travaux fiscaux effectués. Le Tribunal cantonal a également retenu que, dans la comptabilité, les charges de cette activité indépendante ne correspondaient pas à des frais effectifs mais avaient été évaluées forfaitairement. Les revenus n'étaient pas déclarés à l'AVS et l'intéressé n'était pas inscrit au registre du commerce. Selon le Tribunal cantonal, l'activité indépendante déclarée par le recourant semblait revêtir un certain degré de planification, au vu notamment des annonces publicitaires placées par le recourant sur Internet ou dans des journaux locaux; la mise en oeuvre de ces moyens, limités compte tenu de la faillite récente, apparaissait adaptée au chiffre d'affaires réalisé; le fait que X._ était employé à temps complet n'excluait pas la possibilité de réaliser un revenu à titre indépendant.
C.
Agissant par la voie du recours en matière de droit public, l'Administration cantonale demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt du 5 février 2016 du Tribunal cantonal, de refuser la prise en compte des reports de pertes sollicités dans le cadre de la détermination des revenus imposables des périodes fiscales 2012 et 2013 et de confirmer sa décision sur réclamation du 11 mars 2015 en matière d'impôt cantonal, communal et fédéral.
X._ conclut au rejet du recours. Le Tribunal cantonal se réfère à l'arrêt attaqué. L'Administration fédérale des contributions propose l'admission du recours.

Considérant en droit :
1.
Le Tribunal cantonal a rendu une seule décision valant tant pour l'impôt fédéral direct que pour les impôts cantonal et communal, ce qui est en principe admissible (<ref-ruling> consid. 1.3.1 p. 262 ss). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'impôt cantonal et communal (2C_216/2016) et l'autre l'impôt fédéral direct (2C_217/2016). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (<ref-law> et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2.
Le recours en matière de droit public a été déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) par l'Administration cantonale qui a la qualité pour recourir (art. 89 al. 2 let. d LTF; art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11]; art. 73 al. 2 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]) à l'encontre de l'arrêt rendu en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d LTF). Est attaquée une décision de renvoi qui enjoint à l'Administration cantonale de déduire les pertes reportées en cause des revenus imposables des périodes fiscales 2012 et 2013 (<ref-law>); cette autorité ne bénéficie d'aucune marge de manoeuvre et elle subit un préjudice irréparable au sens de l'<ref-law> en tant qu'elle doit rendre une nouvelle décision qui, de son point de vue, serait contraire au droit (quant à la qualification de l'activité exercée par l'intimé et la déduction des pertes résultant de cette qualification) sans pouvoir par la suite la remettre en cause devant l'instance supérieure (cf. <ref-ruling> consid. 1.3 p. 128).
Au regard de ce qui précède, le recours en matière de droit public est recevable, cette voie du recours étant au demeurant ouverte, conformément aux <ref-law> et 73 al. 1 LHID, dès lors qu'est litigieux un report de perte (<ref-law>) dans le cadre d'une activité lucrative indépendante (<ref-law>), à savoir une matière harmonisée.
3.
Dans un premier grief, la recourante se plaint d'une constatation manifestement inexacte des faits. Les annonces publicitaires relatives à l'activité fiscale et comptable de l'intimé constitueraient l'élément essentiel sur lequel les juges précédents se seraient fondés pour retenir l'existence d'une activité lucrative indépendante accessoire. Or, l'intimé n'aurait apporté aucune preuve de l'existence de ces annonces.
3.1. Selon l'<ref-law>, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que le recourant doit rendre vraisemblable par une argumentation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF. La notion de " manifestement inexacte " figurant à l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.3 p. 266).
3.2. Dans son arrêt, le Tribunal cantonal a retenu que l'activité indépendante déclarée par l'intimé semblait revêtir un certain degré de planification, compte tenu des annonces publicitaires placées sur Internet ou dans des journaux locaux. Or, la recourante souligne que l'intimé avait uniquement déclaré oralement à l'audience qu'il avait fait de la publicité pour ses services par le biais des supports susmentionnés mais n'en avait jamais apporté la preuve, ce qu'il aurait pu faire en produisant les pages imprimées des annonces publiées sur Internet, les courriels de confirmation d'insertion des publicités envoyés par les sites hébergeurs gratuits ou encore les factures y relatives.
Force est de constater que la thèse de la recourante est attestée par l'arrêt attaqué. Les juges précédents semblent avoir accepté l'existence des publicités en cause s ur la base des seules déclarations de l'intimé; aucune pièce y relative en démontrant la réalité ne ressort du dossier. En outre, dans ses observations auprès du tribunal de céans, l'intimé ne dément pas n'avoir jamais produit de pièce à cet égard et ne réaffirme même pas avoir procédé à de la publicité. Il se contente de citer l'arrêt attaqué à ce sujet et de préciser qu'il ne lui appartient pas de revenir sur les innombrables critiques de la recourante.
Ces considérations démontrent que le Tribunal cantonal a tenu à tort pour établi un fait à même d'influer sur l'issue de la cause, puisque celui-ci s'est fondé sur cet élément pour qualifier les conseils et travaux fiscaux de l'intimé d'activité lucrative indépendante et, en conséquence, pour accepter le report de pertes en cause. Partant, le grief doit être admis.
I. Impôt fédéral direct
4.
Le litige porte sur la déduction des pertes des exercices comptables 2010 et 2011 provenant de l'activité lucrative indépendante de l'intimé qui exploitait des boutiques de prêt-à-porter et qui s'est soldée par une faillite. Se pose la question de la déductibilité de ces pertes des revenus imposables des périodes fiscales 2012 et 2013.
4.1. L'autorité précédente a correctement exposé la notion d'activité lucrative indépendante (qui n'est pas définie par la loi; cf. <ref-law>) telle qu'arrêtée par la jurisprudence (<ref-ruling> consid. 5b p. 120), de sorte qu'il y est renvoyé. Il sera uniquement relevé que les pertes découlant d'une activité lucrative indépendante que le contribuable a cessé d'exercer sont déductibles (<ref-law> en vigueur jusqu'au 31 décembre 2013 [RO 2013 2397; remplacé par l'<ref-law> dès le 1er janvier 2014] et applicable à la présente cause) à la condition que, notamment, celui-ci en ait commencé ou poursuivi une autre (arrêt 2C_101/2008 du 18 juin 2008 consid. 3.2, in RDAF 2008 II 505; cf. aussi arrêt 2C_33/2009 du 27 novembre 2009 consid. 3.4, in RDAF 2010 II 205 = StE 2010 B 23.9 13).
4.2. La recourante conteste l'existence même de l'activité accessoire de l'intimé. Si celle-ci devait tout de même être constatée, elle allègue qu'elle ne peut être qualifiée d'activité lucrative indépendante.
4.3. Il ressort de l'arrêt attaqué que l'intimé n'est pas inscrit au registre du commerce. Il n'a pas non plus annoncé ses revenus à l'AVS. Le chiffre d'affaires est plus que modeste puisqu'il se monterait à 5'150 fr. en 2012 et à 6'780 fr. en 2013; il proviendrait, en 2012, de la vente d'un stock d'habits qui n'avait pas été saisi par l'autorité compétente (à raison de 1'850 fr. selon le recours devant le Tribunal cantonal et de 700 fr. selon les déclarations faites à l'audience) et de l'établissement de déclarations d'impôts, ainsi que de services comptables. Cependant, les gains ne sont attestés par aucun document, si ce n'est par deux factures se montant à 100 fr. et 310 fr. produites après l'audience de comparution personnelle, alors qu'il appartient au contribuable de prouver les éléments qui réduisent son obligation fiscale (<ref-ruling> consid. 4.3 p. 158). L'intéressé a expliqué, à cet égard, ne pas posséder de factures ou autres documents justifiant ses services fiscaux car il était payé de main à main; le tribunal de céans relève néanmoins qu'un tel procédé n'empêche pas la rédaction et la signature d'un récépissé. L'intimé a également exposé avoir une cinquantaine de clients mais, à nouveau, aucun élément ne vient démontrer cela, étant rappelé que l'intimé n'a pas non plus produit de pièces probantes relatives aux annonces qu'il aurait fait publier dans un journal et sur Internet. Le tribunal de céans relève encore que les charges comptabilisées en lien avec cette activité accessoire ne correspondent pas aux frais effectifs mais ont été évaluées forfaitairement. La comptabilité ne repose ainsi sur aucune pièce. Finalement, on constate que le capital investi est inexistant, ce qui peut néanmoins s'expliquer par la situation économique obérée de l'intimé.
Il découle de ce qui précède que les seuls éléments prouvés quant à une éventuelle activité lucrative indépendante sont les deux factures de 100 fr. et 310 fr. (la vente du solde de vêtements, qui n'a consisté qu'en une seule opération, ne peut pas constituer une activité lucrative indépendante). Ainsi, seuls des revenus sporadiques et négligeables découlent des services de l'intimé, ce qui fait douter qu'il ait pour but de réaliser un gain. Les travaux fournis sont anecdotiques, dénotant une activité confidentielle. La situation décrite ci-dessus ne permet pas de conclure à l'existence d'une activité lucrative indépendante même peu importante. Dès lors que cette existence est l'une des conditions (cf. supra consid. 4.1) posée pour pouvoir déduire les pertes provenant d'une première activité lucrative indépendante, contrairement à ce qu'a jugé le Tribunal cantonal, les pertes résultant des exercices 2010 et 2011 ne peuvent pas être portées en déduction du revenu imposable des périodes fiscales 2012 et 2013. Partant, l'arrêt attaqué viole l'<ref-law>.
4.4. Il découle de ce qui précède que le recours est admis en tant qu'il concerne l'impôt fédéral direct.
II. Impôts cantonal et communal
5.
Conformément à l'<ref-law>, l'art. 35 al. 1 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (RS/VD 642.11) traite du report de pertes dans le cadre d'une activité lucrative indépendante; le contenu de ces dispositions est similaire à celui de l'<ref-law>. En outre, selon la jurisprudence, la notion d'activité indépendante de l'<ref-law> est identique à celle de l'<ref-law> (arrêt 2C_1081/2013 du 2 juin 2014 consid. 5.3, in Archives 83 65).
Dès lors, les considérations développées ci-dessus (consid. 4) pour l'impôt fédéral direct s'appliquent mutatis mutandis aux impôts cantonal et communal. Le recours est donc également admis en ce qui concerne lesdits impôts des périodes fiscales 2012 et 2013.
6.
Compte tenu de ce qui précède, le recours est admis tant en ce qu'il a trait à l'impôt fédéral direct (2C_217/2016) qu'aux impôts cantonal et communal (2C_216/2016) des périodes fiscales 2012 et 2013. L'arrêt attaqué est annulé et la décision sur réclamation du 11 mars 2015 de l'Administration cantonale portant sur lesdits impôts des périodes fiscales en cause est rétablie.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge de l'intimé (art. 65 et 66 al. 1 LTF). L'Administration cantonale n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_216/2016 et 2C_217/2016 sont jointes.
2.
Le recours est admis en tant qu'il concerne l'impôt fédéral direct des périodes fiscales 2012 et 2013. L'arrêt du 5 février 2016 du Tribunal cantonal est annulé en tant qu'il concerne cet impôt et la décision sur réclamation du 11 mars 2015 est rétablie.
3.
Le recours est admis en tant qu'il concerne les impôts cantonal et communal des périodes fiscales 2012 et 2013. L'arrêt du 5 février 2016 du Tribunal cantonal est annulé en tant qu'il concerne ces impôts et la décision sur réclamation du 11 mars 2015 est rétablie.
4.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge de l'intimé.
5.
Il n'est pas alloué de dépens.
6.
Le présent arrêt est communiqué à l'Administration fiscale du canton de Vaud, à l'intimé, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 15 novembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon