Faits :
A.
A.a. En 1993, Z._ (ci-après: l'employé ou la demandeur), né en 1960 et de nationalité kosovare, a été engagé par X._ SA (ci-après: l'employeuse ou la défenderesse), en qualité d'aide à la préparation des fromages, sans contrat de travail écrit. Ne disposant pas d'une autorisation de travail, il était employé " au noir ". L'employeuse l'a déclaré à la Caisse de compensation AVS.
L'employé recevait son salaire de la main à la main. Les nombreuses fiches de salaire, non signées et pour la plupart non datées, font état d'une rémunération fluctuante, variant entre 2'600 fr. et 3'200 fr., sans treizième salaire. Il a été retenu en procédure que l'employé a perçu durant la période litigieuse du 9 avril 2008 au 20 février 2010 un salaire mensuel brut de 3'040 fr. 95. Ce point n'est plus contesté, l'employeuse estimant que ce montant correspond au salaire valablement convenu entre les parties.
A.b. Le 20 février 2010, l'employeuse a résilié le contrat de travail de l'employé, avec effet immédiat.
B.
B.a. Par requête de conciliation du 9 avril 2013, l'employé a ouvert action en paiement contre l'employeuse et, après échec de la conciliation, a déposé sa demande devant la Chambre patrimoniale cantonale le 6 septembre 2013, qu'il a rectifiée le 18 octobre 2013. Il conclut au paiement, intérêts en sus, de 80'034 fr., à titre de différence entre le salaire usuel et le salaire convenu, et de 35'742 fr. 95, pour les heures supplémentaires, les heures effectuées le dimanche et les vacances non prises.
Par jugement du 30 septembre 2016, la Chambre patrimoniale a condamné la défenderesse au paiement d'un total de 44'861 fr. 50 brut, sous déduction des cotisations sociales usuelles, plus intérêts à 5% l'an dès le 20 février 2010, et mis à sa charge cinq sixièmes des frais judiciaires et des dépens.
B.b. Statuant le 26 juin 2017, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a partiellement admis l'appel de l'employeuse défenderesse. Réformant le jugement entrepris, elle a condamné celle-ci à payer au demandeur le montant total de 40'038 fr. 20 brut, sous déduction des cotisations sociales usuelles, avec intérêts à 5% l'an dès le 20 février 2010, et mis à sa charge quatre cinquièmes des frais judiciaires et des dépens de première instance.
C.
Contre cet arrêt, la défenderesse a interjeté un recours en matière civile au Tribunal fédéral, concluant principalement à sa réforme, en ce sens qu'elle ne soit pas condamnée à payer plus de 7'489 fr. 70 brut, sous déduction des cotisations sociales usuelles, plus intérêts à 5% l'an dès le 10 février 2010, subsidiairement à son annulation avec renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Elle conteste devoir à l'employé toute différence entre un salaire usuel et un salaire convenu et versé, mais admet devoir payer le montant de 7'489 fr. 70 brut pour les heures supplémentaires, le travail dominical et le salaire afférent aux vacances au tarif du salaire convenu et versé, de 3'040 fr. 95.
Déclarant renoncer à se prévaloir d'arbitraire dans l'établissement des faits, la recourante se plaint de violation de l'<ref-law> et des art. 22 LEtr. et 22 OASA, en rapport avec la différence entre le salaire usuel et le salaire convenu et versé.
L'employé intimé conclut au rejet du recours. Il requiert le bénéfice de l'assistance judiciaire.
Les parties n'ont pas déposé d'observations complémentaires.
La cour cantonale s'est référée aux considérants de son arrêt.

Considérant en droit :
1.
Interjeté en temps utile compte tenu des féries d'été (art. 46 al. 1 let. b et 100 al. 1 LTF) par l'employeuse qui a succombé dans ses conclusions libératoires (<ref-law>), contre une décision finale (<ref-law>) rendue sur appel par le tribunal supérieur du canton (<ref-law>) dans une affaire de contrat de travail (<ref-law>), dont la valeur litigieuse est supérieure à 15'000 fr. (<ref-law>), le recours en matière civile est recevable au regard de ces dispositions.
2.
Le Tribunal fédéral applique d'office le droit (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal (ou à l'état de fait qu'il aura rectifié ou complété après examen des griefs du recours). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 et l'arrêt cité).
3.
Le litige porte sur la question de savoir si l'employé devait être payé conformément au salaire convenu entre les parties ou conformément au salaire usuel pour un aide-fromager, dont la détermination par la cour cantonale est par ailleurs contestée par l'employeuse recourante.
3.1. Aux termes de l'<ref-law>, l'employeur paie au travailleur le salaire convenu, usuel ou fixé par un contrat-type de travail ou par une convention collective.
A teneur de l'art. 22 de la loi fédérale sur les étrangers du 16 décembre 2005 (LEtr; RS 142.20), un étranger ne peut être admis en vue de l'exercice d'une activité lucrative qu'aux conditions de rémunération et de travail usuelles du lieu, de la profession et de la branche. L'art. 22 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201) précise que pour déterminer les salaires et les conditions de travail en usage dans la localité et la profession, il y a lieu de tenir compte des prescriptions légales, des conventions collectives et des contrats-types de travail ainsi que des salaires et des conditions accordés pour un travail semblable dans la même entreprise et dans la même branche. Il importe également de prendre en considération les résultats des relevés statistiques sur les salaires. Ces dispositions ont remplacé l'art. 9 al. 1 de l'ordonnance du 6 octobre 1986 limitant le nombre des étrangers (OLE, en vigueur jusqu'au 31 décembre 2007; <ref-ruling> consid. 2.3).
L'<ref-law> autorise une partie à un contrat de travail à agir civilement afin d'obtenir l'exécution d'une obligation de droit public imposée à son cocontractant par des dispositions fédérales ou cantonales sur le travail et susceptible d'être l'objet d'un contrat individuel de travail. Dans le domaine du droit des étrangers ordinaire, le Tribunal fédéral a appliqué l'<ref-law> en rapport avec l'art. 9 al. 1 OLE et admis qu'une fois l'autorisation nécessaire pour exercer une activité lucrative délivrée, l'employeur est tenu, en vertu d'une obligation de droit public, de respecter les conditions qui l'assortissent, en particulier le salaire approuvé par l'autorité administrative; le travailleur dispose alors d'une prétention qu'il peut exercer devant les juridictions civiles, le juge civil étant lié par les conditions de rémunération fixées dans l'autorisation délivrée pour un emploi donné (<ref-ruling> consid. 2.3 p. 751; <ref-ruling> consid. 5.1 p. 621/622 et consid. 6.1 p. 623; <ref-ruling> consid. 4d p. 114/115;). Cela vaut également en cas de travail au noir, le juge civil étant alors compétent, en l'absence d'autorisation de travail, pour fixer lui-même, à titre préjudiciel, les conditions d'engagement conformes aux dispositions du droit des étrangers (ATF <ref-ruling> consid. 4e p. 116).
3.2. Selon la cour cantonale, il ne peut rien être déduit de l'ordonnance du Conseil fédéral du 11 janvier 1984 établissant un contrat-type de travail pour le personnel des laiteries (RS 221.215.329.2) pour fixer le salaire usuel d'un aide-fromager dans le canton de Vaud, puisque cette ordonnance, qui prévoit que le salaire doit correspondre aux tâches, au niveau de formation et aux capacités du travailleur, ne fixe pas de salaire minimal. En revanche, il est possible de se référer au contrat-type pour le personnel des fromageries applicable sur le territoire du canton du Valais, qui concerne le même type d'activité. D'une part, le coût de la vie est inférieur en Valais, de sorte que le salaire usuel pour l'activité spécifique d'aide-fromager ne saurait être inférieur dans le canton de Vaud. D'autre part, il est inadéquat de se référer à l'arrêté du 3 avril 2000 du Conseil d'Etat établissant un contrat-type de travail pour l'agriculture (ACTT-agr; RSV 222.55.1), dans la mesure où l'activité de production dans les fromageries requiert des compétences spécifiques et n'appartient pas à la production agricole. La cour cantonale fait ainsi sien le salaire usuel retenu par la juridiction de première instance sur la base du contrat-type pour le personnel des fromageries applicable sur le territoire du canton du Valais, à savoir 4'476 fr. par mois ou 21 fr. 35 par heure en 2008, 4'704 fr. par mois ou 22 fr. 45 par heure en 2009 et 4'752 fr. par mois ou 22 fr. 70 par heure en 2010.
3.3. La recourante reproche à la cour cantonale d'avoir appliqué au cas d'espèce un contrat-type applicable uniquement sur le territoire du Valais. En l'absence d'une convention collective ou d'un contrat-type de travail fixant des salaires minimaux, il aurait fallu examiner les conditions de rémunération usuelles du lieu, de la profession et de la branche conformément aux art. 22 LEtr et 22 OASA, ce qui n'a pas été fait. La cour cantonale aurait donc abusé de son pouvoir d'appréciation en appliquant aux rapports de travail en cause un contrat-type applicable uniquement dans un autre canton, de même qu'elle aurait limité la liberté contractuelle des parties de manière totalement arbitraire. La recourante en déduit qu'elle ne doit rien à l'intimé au titre de différence entre le salaire usuel et le salaire convenu.
3.4. En l'occurrence, comme l'employeuse recourante n'a pas requis d'autorisation du service compétent pour l'engagement de l'employé intimé, de nationalité kosovare, le juge civil appelé à statuer sur les prétentions salariales de ce dernier est compétent pour déterminer le caractère usuel du salaire convenu. Pour ce faire, la cour cantonale vaudoise a pris pour référence les salaires fixés dans le contrat-type pour le personnel de fromageries applicable dans le canton du Valais, invoqué à titre subsidiaire par l'employé demandeur, en précisant que le salaire usuel d'un aide-fromager dans le canton de Vaud ne saurait être plus bas que celui perçu pour la même activité dans le canton du Valais. En procédant ainsi, elle a déterminé le salaire usuel au sens des art. 22 LEtr et 22 OASA, en considérant que les valeurs déterminantes pour cette activité spécifique dans un canton voisin étaient suffisamment probantes, à titre de limite inférieure. Dans ces circonstances, l'on voit mal qu'elle ait abusé de son pouvoir d'appréciation au détriment de l'employeuse défenderesse.
4.
Pour le cas où elle succomberait dans ses conclusions principales, la recourante se plaint de la répartition des frais judiciaires et des dépens par la cour cantonale.
4.1. Les frais - soit les frais judiciaires et les dépens (<ref-law>) - sont répartis entre les parties en application des art. 106 et 107 CPC, la règle étant qu'ils sont en principe mis à la charge de la partie qui succombe (<ref-law>). Le tribunal est toutefois libre de s'écarter de cette règle et de les répartir selon sa libre appréciation dans les hypothèses prévues par l'<ref-law>, notamment lorsque le demandeur obtient gain de cause sur le principe de ses conclusions mais non sur leur montant, celui-ci étant tributaire de l'appréciation du tribunal ou difficile à chiffrer (<ref-law>).
Statuant selon sa libre appréciation, l'autorité cantonale dispose d'une large marge de manoeuvre (<ref-ruling> consid. 3 p. 360; arrêt 4A_97/2017 du 4 octobre 2017 consid. 5; 4A_207/2015 du 2 septembre 2015 consid. 3.1 et les références citées), de sorte que le Tribunal fédéral ne revoit qu'avec réserve la décision prise en dernière instance cantonale. Il intervient lorsque l'autorité précédente s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, lorsqu'elle se fonde sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle ou, au contraire, lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération. En outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (entre autres, <ref-ruling> consid. 11.2 p. 98; arrêt 4A_161/2016 du 13 décembre 2016 consid. 4.1).
4.2. La cour cantonale a retenu que le demandeur a obtenu gain de cause sur plusieurs questions de principe et reçu 40'038 fr. 20 sur le montant total de 108'874 fr. 04 demandé, de sorte qu'une répartition à raison d'un cinquième à la charge du demandeur et de quatre cinquièmes à la charge de la défenderesse se justifiait.
4.3. La recourante reproche à la cour cantonale d'avoir violé l'<ref-law> en mettant à sa charge presque tous les frais judiciaires et les dépens de première instance, alors que l'employé demandeur n'a obtenu que 34.60% de ses conclusions. Elle affirme également que la cour cantonale n'a pas fait usage de l'<ref-law>, puisqu'elle ne s'y est pas référée.
4.4. Par cette argumentation, la recourante oublie que la cour cantonale dispose d'un large pouvoir d'appréciation en matière de répartition des frais et dépens, lui permettant de tenir compte des circonstances de l'espèce. En l'occurrence, pour justifier une répartition des frais de première instance à raison d'un cinquième à la charge du demandeur et de quatre cinquièmes à la charge de la défenderesse, la cour cantonale a retenu que l'employé demandeur avait obtenu gain de cause sur plusieurs questions de principe - à savoir sur le principe du versement du salaire usuel, d'une rémunération pour les heures supplémentaires et le travail dominical effectués ainsi que sur le salaire afférent aux vacances - mais qu'il ne s'était vu allouer qu'un peu plus d'un tiers de ses conclusions en paiement. L'on ne voit pas que cette appréciation, qui repose sur des éléments pertinents, aboutisse à un résultat manifestement injuste ou une iniquité choquante. Partant, le moyen est mal fondé.
5.
Il résulte des considérations qui précèdent que le recours doit être rejeté.
Dans ces circonstances, les frais judiciaires et les dépens sont mis à la charge de la recourante, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF), de sorte que la requête d'assistance judiciaire déposée par l'intimé devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire de l'intimé est sans objet.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de la recourante.
4.
La recourante versera à l'intimé une indemnité de 2'500 fr. à titre de dépens.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 10 avril 2018
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
La Greffière : Schmidt