Faits :
A.
Par jugement du 2 septembre 2020, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a libéré A.A._ du chef de prévention de voies de fait qualifiées et a constaté qu'il s'était rendu coupable de lésions corporelles simples qualifiées, contrainte et violation du devoir d'éducation ou d'assistance. Il l'a condamné à une peine privative de liberté de 18 mois, avec sursis pendant trois ans. Il a en outre ordonné à A.A._, à titre de règle de conduite pendant la durée du sursis, de se soumettre à un traitement psychothérapeutique régulier. Enfin, le tribunal correctionnel a fixé les frais de justice à 39'487 fr. 25, comprenant les indemnités des conseils juridiques gratuits et du défenseur d'office, et les a mis à la charge de A.A._.
B.
Par jugement du 1er avril 2021, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a partiellement admis l'appel de A.A._ en ce sens qu'il a été acquitté, en raison de sa totale irresponsabilité pour les faits antérieurs à 2015 (cas n° 2, 4, 5, 6 et 7 de l'acte d'accusation ainsi qu'une partie de ceux figurant sous les n° 1 et 3 ainsi que ceux figurant sous n° 8) et que sa peine privative de liberté a été réduite à 10 mois avec sursis. Elle a confirmé le jugement entrepris pour le surplus.
Il en ressort les faits suivants.
B.a. A.A._, né en 1971, a grandi à U._, dans la ferme familiale qu'il occupe encore aujourd'hui. Il a rencontré son épouse B.A._ en 1992 et l'a épousée en 1994. De leur union sont nés 4 enfants, soit C.A._ en 1996, D.A._ en 1999, E.A._ en 2006 et F.A._ en 2007. Le couple vit séparé depuis le mois de septembre 2017. A.A._ exploite le domaine agricole familial de 37 hectares. En 2017 et 2018, il a subi une dépression qui a donné lieu à un arrêt de travail. Il a alors perçu des indemnités d'assurance perte de gain et a touché une rente AI temporaire. Selon ses dires, son exploitation agricole est actuellement déficitaire et il a dû recourir à des emprunts privés pour la faire tourner. Il perçoit des subsides pour son assurance-maladie. Enfin, il bénéficie d'un suivi psychothérapeutique à raison de deux fois par mois depuis le mois de janvier 2019.
Son casier judiciaire suisse est vierge de toute inscription.
B.b. Durant la vie commune, B.A._ a été prise à partie verbalement et physiquement par A.A._. Celui-ci s'en est également pris régulièrement aux enfants, ceci dès leur plus jeune âge, instaurant ainsi un véritable climat de peur au sein de la cellule familiale.
B.b.a. Ainsi, entre le 14 juin 2012 (les faits antérieurs étant prescrits) et le 23 septembre 2017 (date à laquelle B.A._ et ses enfants ont intégré le foyer G._), A.A._ a, à raison d'une ou deux fois par an, asséné tantôt des gifles, tantôt des coups de pieds aux fesses, voire des coups de poing dans l'épaule de son épouse B.A._. Durant cette même période, B.A._ a également reçu, pour ainsi dire chaque semaine, des claques sur les fesses. Enfin, au printemps 2015, A.A._ a poussé son épouse en arrière dans les escaliers, provoquant sa chute de quelques marches.
B.b.b. Entre 2015 et le 23 septembre 2017, A.A._ a régulièrement asséné de sévères fessées à même la peau à F.A._ (souvent en coinçant au préalable la tête de ce dernier entre ses jambes), mais également des coups ayant provoqué à plusieurs reprises une épistaxis ainsi que des vomissements lorsque le ventre était visé.
Entre le 14 juin 2016 et le 23 septembre 2017, A.A._ a également administré des fessées (à plusieurs reprises, lors de chaque épisode) à E.A._.
B.b.c. Entre 2014 et 2015, A.A._ a asséné un coup de pied à son fils F.A._, lequel a perdu l'équilibre au point de se cogner contre un meuble. Le choc en question a provoqué une marque au visage de l'enfant.
B.b.d. Alors que F.A._ avait huit ans, soit en 2015, lors d'un repas en famille, A.A._ l'a saisi à la gorge avec ses deux mains, au point que l'enfant, éprouvant des difficultés pour respirer, a littéralement changé de couleur. F.A._, qui a d'abord dû reprendre son souffle, a ensuite présenté des marques sur le cou, ceci durant quelques jours. E.A._ et D.A._ notamment étaient présentes lors de cet incident. Durant la même période, A.A._, alors qu'il voulait prétendument asséner un coup de pied aux fesses de F.A._ " dans le but de le calmer ", a vu son pied atterrir sur le nez de son fils, engendrant de ce fait des saignements.
B.b.e. Au début du mois de septembre 2017, lors d'une dispute, A.A._ a forcé B.A._ à s'agenouiller devant lui durant une vingtaine de minutes, en la maintenant à terre et en lui tenant fermement les poignets.
B.c. Une expertise psychiatrique a été réalisée en cours d'instruction et a fait l'objet d'un rapport du 9 avril 2020.
C.
A.A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 1er avril 2021. Il conclut principalement à sa réforme, en ce sens qu'il est condamné à une peine pécuniaire de 300 jours-amende, le montant du jour-amende n'excédant pas 50 fr., et à ce que les frais de première instance, arrêtés à 39'487 fr. 25, soient mis par moitié à la charge de l'État. Subsidiairement, il conclut au renvoi de la cause à l'autorité inférieure pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir prononcé une peine privative de liberté et non une peine pécuniaire.
1.1. Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
Aux termes de l'<ref-law> en vigueur depuis le 1er janvier 2018, le juge peut prononcer une peine privative de liberté à la place d'une peine pécuniaire si une peine privative de liberté paraît justifiée pour détourner l'auteur d'autres crimes ou délits (let. a) ou s'il y a lieu de craindre qu'une peine pécuniaire ne puisse pas être exécutée (let. b).
La peine pécuniaire constitue la sanction principale dans le domaine de la petite et moyenne criminalité, les peines privatives de liberté ne devant être prononcées que lorsque l'État ne peut garantir d'une autre manière la sécurité publique. Lorsque tant une peine pécuniaire qu'une peine privative de liberté entrent en considération et que toutes deux apparaissent sanctionner de manière équivalente la faute commise, il y a en règle générale lieu, conformément au principe de la proportionnalité, d'accorder la priorité à la première, qui porte atteinte au patrimoine de l'intéressé et constitue donc une sanction plus clémente qu'une peine privative de liberté, qui l'atteint dans sa liberté personnelle (<ref-ruling> consid. 1.1.1 p. 317; <ref-ruling> consid. 4.2.2 p. 100 s.). Le choix de la sanction doit être opéré en tenant compte au premier chef de l'adéquation de la peine, de ses effets sur l'auteur et sur sa situation sociale ainsi que de son efficacité du point de vue de la prévention (<ref-ruling> consid. 3.2 p. 245; <ref-ruling> consid. 1.1.1 p. 317; <ref-ruling> consid. 2.3.4 p. 301).
1.2. Le recourant relève que dans la mesure où les faits reprochés ont été commis avant 2018, c'est l'art. 34 aCP, dans sa version antérieure au 1er janvier 2018, qui doit être appliqué en l'espèce, en vertu du principe de la lex mitior (cf. <ref-law>). En effet, dans un arrêt récent, le Tribunal fédéral a rappelé que, dans la mesure où le nouvel <ref-law>, entré en vigueur au 1er janvier 2018, prévoyait une diminution de la peine pécuniaire maximale de 360 à 180 jours-amende, le nouveau droit visait à réduire le champ d'application de la peine pécuniaire et par conséquent à accroître celui de la peine privative de liberté, ce qui permettait de considérer que l'ancien régime des peines était, à tout le moins sous cet angle, moins sévère que le droit en vigueur depuis le 1er janvier 2018 (<ref-ruling> consid. 4.3.2 p. 247 s.).
Cela étant dit, la cour cantonale a considéré que le choix d'une peine privative de liberté ne se justifiait pas en raison de la durée de celle-ci, mais pour des motifs de prévention spéciale. Ce n'est donc pas parce qu'en application du nouveau droit, une peine pécuniaire correspondant quantitativement à 10 mois de privation de liberté, soit 300 jours-amendes, ne serait pas possible, que la cour cantonale a prononcé une peine privative de liberté, mais bien pour des motifs conformes à l'<ref-law> (cf. consid. 1.1 supra). Par conséquent, le point soulevé par le recourant ne fait pas apparaître de violation du droit fédéral dans le choix du genre de peine.
1.3. Le recourant soutient que le prononcé d'une peine privative de liberté résulte d'un examen partiel des faits de la cause et méconnaît les critères applicables au choix du genre de peine. La cour cantonale aurait dû tenir compte de son absence d'antécédent judiciaire, du fait qu'il s'était engagé à réparer le préjudice moral subi par les victimes, qu'il ne contestait plus la quotité de sa peine, qu'il n'avait pas récidivé, que ses thérapeutes avaient confirmé que le travail psychothérapeutique avançait beaucoup, avec notamment une prise de conscience qualifiée d'importante, et que le départ de sa famille l'avait plongé dans une dépression. Il résultait également du rapport d'expertise du 9 avril 2020 que selon les thérapeutes du recourant, le risque d'une récidive de maltraitance paraissait " exclu, surtout si de nouveaux contacts avec les enfants pouvaient bénéficier d'entourage bienveillant et dans le contexte de la poursuite de la psychothérapie [...] ". Enfin, le recourant relève que sa situation personnelle est " serrée ", ainsi une potentielle révocation du sursis, s'agissant d'une peine pécuniaire, était dissuasive dans la mesure où elle était susceptible de mettre un terme définitif à son activité d'éleveur bovin, et plus généralement de mettre en danger son entreprise agricole.
1.3.1. La cour cantonale a considéré que le recourant s'en était pris à l'intégrité physique de son épouse ainsi qu'à celle de ses jeunes enfants. Il avait également sérieusement porté atteinte au développement psychique de ces derniers alors même qu'il était censé les protéger. Il avait agi de manière répétée dans le huis clos familial. Ses agissements avaient eu des effets délétères sur toute sa famille. Il aurait d'ailleurs continué sur cette voie si sa fille aînée n'avait pas trouvé le courage de contacter elle-même le foyer G._ pour enfin mettre un terme aux mauvais traitements subis par sa famille. Par ailleurs, le recourant n'avait que peu d'introspection. Aux débats de première instance, il avait encore cherché à minimiser les faits qui lui étaient reprochés en n'hésitant pas à tenter de se disculper en traitant ses enfants et son épouse de menteurs, démontrant ainsi qu'il n'avait toujours pas réellement pris conscience de la gravité de ses actes et de leurs conséquences sur ses proches.
A décharge, il y avait lieu de retenir que le recourant avait souffert de la séparation d'avec sa famille et qu'il avait, de ce fait, plongé dans une profonde dépression. Il suivait également actuellement une thérapie dans laquelle il semblait s'investir et il avait d'ailleurs adhéré aux conclusions civiles de sa femme et de ses enfants, même s'il ne l'avait fait que du bout des lèvres s'agissant de D.A._ et de son épouse.
Au vu de ce qui précédait, la cour cantonale a retenu que le choix d'une peine privative de liberté se justifiait pour des motifs de prévention spéciale. Selon l'expertise psychiatrique du 9 avril 2020, le risque de récidive pour des actes de même nature était présent si le recourant se trouvait en proie à une colère intense dans une dynamique relationnelle familiale dans laquelle il ne se sentirait pas respecté ou disqualifié dans son rôle de père ou de conjoint. Toujours selon les experts, si le recourant avait aujourd'hui conscience de ce qui était permis ou pas par la loi et que cette prise de conscience participait à la diminution du risque de récidive de certains actes, il n'avait pour l'heure pas encore intégré en profondeur l'inadéquation de ces débordements de violence qu'il ne remettait que partiellement en question. Ils avaient également précisé qu'au regard de ses faibles capacités introspectives, une thérapie de longue durée était probablement nécessaire pour qu'il puisse réellement se comporter autrement. Selon la cour cantonale, on pouvait ainsi craindre qu'en dépit du traitement ordonné à titre de règle de conduite durant le sursis octroyé, la simple perspective que l'État s'en prenne à son patrimoine en cas de récidive ne suffirait pas à contenir de nouveaux débordements du recourant. Ce dernier devait donc recevoir un message clairement plus dissuasif et savoir que ce n'était pas seulement son patrimoine mais bien sa liberté qui était entravée s'il venait à commettre de nouveaux actes illicites. Ce n'était qu'à cette condition que l'on pouvait espérer que le recourant parviendrait à se contenir.
1.3.2. Les éléments évoqués par le recourant ressortent de manière générale du jugement attaqué. Peu importe, à cet égard, que la cour cantonale ne les ait pas répétés dans le considérant relatif au choix du type de sanction, dès lors que le jugement forme un tout et qu'on admet que le juge garde à l'esprit l'ensemble des éléments qui y figurent (cf. parmi de nombreux arrêts : 6B_94/2021 du 29 septembre 2021 consid. 6.3).
Par ailleurs, quand bien même le recourant suivait actuellement une thérapie qui se passait bien, la cour cantonale pouvait retenir que sa prise de conscience restait limitée. En effet, d'une part, selon les experts, il n'avait pour l'heure pas encore intégré en profondeur l'inadéquation de ses débordements de violence et, d'autre part, il avait cherché à minimiser les faits qui lui étaient reprochés lors des débats de première instance, en traitant notamment ses enfants et son épouse de menteurs. L'absence de récidive à ce jour n'est pas déterminante puisque la violence du recourant s'est toujours exercée au sein du cercle familial, dont il est actuellement éloigné à la suite du départ de sa femme et de ses enfants. Les experts ont d'ailleurs conclu qu'un risque de récidive pour des actes de même nature était présent si le recourant se trouvait en proie à une colère intense dans une dynamique relationnelle familiale. Enfin, au vu des biens juridiques lésés, soit l'intégrité physique de son épouse ainsi que celle de ses jeunes enfants, leur portant de la sorte une atteinte au développement psychique et ce de manière répétée, pendant plusieurs années, la cour cantonale pouvait retenir qu'une peine privative de liberté était adéquate en l'espèce. Sur le vu de ces éléments, l'appréciation de la cour cantonale selon laquelle la perspective d'une privation de liberté était plus dissuasive pour le recourant que la simple entrave à son patrimoine n'est pas critiquable.
Au demeurant, la situation financière, actuellement précaire, du recourant n'est pas de nature à rendre vraisemblable qu'il puisse réellement s'acquitter d'une sanction pécuniaire (cf. <ref-law>). Quoi qu'il en soit, il suffit ici déjà de constater que le prononcé d'une peine privative de liberté est conforme à l'<ref-law>. Le grief du recourant est ainsi infondé.
2.
Le recourant conteste la répartition des frais de procédure de première instance.
2.1. Selon l'<ref-law>, le prévenu supporte les frais de procédure s'il est condamné. La répartition des frais de procédure repose sur le principe selon lequel celui qui a causé les frais doit les supporter. Ainsi, le prévenu doit supporter les frais en cas de condamnation (<ref-law>), car il a occasionné, par son comportement, l'ouverture et la mise en oeuvre de l'enquête pénale (<ref-ruling> consid. 4.4.1 p. 254; arrêt 6B_1130/2020 du 14 avril 2021 consid. 4.1.1). Un lien de causalité adéquate est nécessaire entre le comportement menant à la condamnation pénale et les coûts relatifs à l'enquête permettant de l'établir (arrêts 6B_1130/2020 précité consid. 4.1.1; 6B_53/2013 du 8 juillet 2013 consid. 4.1, non publié aux <ref-ruling>).
Si sa condamnation n'est que partielle, les frais ne doivent être mis à sa charge que de manière proportionnelle, en considération des frais liés à l'instruction des infractions pour lesquelles un verdict de culpabilité a été prononcé. Il s'agit de réduire les frais, sous peine de porter atteinte à la présomption d'innocence, si le point sur lequel le prévenu a été acquitté a donné lieu à des frais supplémentaires et si le prévenu n'a pas, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci (cf. <ref-law>). Comme il est difficile de déterminer avec exactitude les frais qui relèvent de chaque fait imputable ou non au condamné, une certaine marge d'appréciation doit être laissée à la cour cantonale (arrêts 6B_1130/2020 précité consid. 4.1.1; 6B_112/2020 du 7 octobre 2020 consid. 6.3; 6B_956/2019 du 19 novembre 2019 consid. 1.5; 6B_572/2018 du 1er octobre 2018 consid. 5.1.1).
2.2. Le recourant se plaint qu'en dépit de son acquittement partiel en procédure d'appel pour tous les faits qui se sont produits jusqu'à l'année 2015, l'entier des frais de la procédure de première instance, par 39'487 fr. 25, a été mis à sa charge.
Si la cour cantonale a estimé que le recourant devait supporter la moitié des frais de la procédure d'appel (cf. arrêt attaqué, consid. 5 p. 23-24), elle ne détaille en revanche pas les raisons pour lesquelles l'intégralité des autres frais de procédure a été mise à la charge du précité (cf. dispositif de l'arrêt attaqué, p. 25). En particulier, on cherche en vain dans le jugement attaqué tout développement justifiant de faire exception au principe selon lequel, en cas d'acquittement partiel, les frais de la procédure ne sont mis à la charge du prévenu que d'une manière proportionnelle.
Faute d'une motivation suffisante, il se justifie d'annuler le jugement en tant qu'il porte sur les frais de procédure de première instance et de renvoyer la cause à la cour cantonale pour qu'elle complète sa décision (cf. <ref-law>).
3.
Le recours doit être partiellement admis. Le jugement attaqué est annulé en tant qu'il porte sur les frais de procédure de première instance et la cause renvoyée pour nouvelle décision dans le sens des considérants. Pour le reste, le recours doit être rejeté dans la mesure où il est recevable.
La requête d'assistance judiciaire présentée par le recourant est sans objet dans la mesure où il obtient gain de cause et peut, à ce titre, prétendre à des dépens réduits de la part du canton de Vaud (<ref-law>); elle doit être rejetée pour le reste, dès lors que le recours était pour le surplus dénué de chances de succès s'agissant de l'aspect sur lequel le recourant a succombé (<ref-law>).
Le recourant, qui succombe partiellement, supportera une partie des frais judiciaires, fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (<ref-law>).
Dès lors que l'admission du recours porte sur une insuffisance de la motivation, il peut être procédé au renvoi sans ordonner préalablement un échange d'écritures (cf. <ref-ruling> consid. 3.4.2 p. 296).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement attaqué est annulé en tant qu'il porte sur les frais de procédure de première instance et la cause est renvoyée à l'autorité précédente pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire du recourant est rejetée dans la mesure où elle n'est pas sans objet.
3.
Une partie des frais judiciaires, arrêtée à 600 fr., est mise à la charge du recourant.
4.
Le canton de Vaud versera au conseil du recourant une indemnité de 500 fr. à titre de dépens réduits pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 février 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy