Faits :
A.
Par jugement du 15 juillet 2019, le Tribunal régional Jura bernois-Seeland, Agence du Jura bernois, a reconnu A.A._ coupable de tentative de lésions corporelles graves commises le 27 janvier 2017, de lésions corporelles simples commises à réitérées reprises entre le 16 juillet 2012 et le 27 janvier 2017 et de violation du devoir d'assistance et d'éducation commise entre le 1er janvier 2014 et le 27 janvier 2017, à l'encontre de sa fille B.A._, née en 2002 et arrivée en Suisse en 2012 dans le cadre d'un regroupement familial. Il l'a condamné à une peine privative de liberté de 20 mois, sous déduction de la détention subie avant jugement, avec sursis pendant 4 ans, mais a renoncé à prononcer une mesure d'expulsion.
B.
Statuant le 24 février 2021 sur appel du Parquet général du canton de Berne, la 2e Chambre pénale de la Cour suprême du canton de Berne a modifié le jugement précité en ce sens qu'elle a reconnu A.A._ coupable de lésions corporelles simples (qualifiées), commises à réitérées reprises dès le second semestre 2013 (inclus) et jusqu'au 27 janvier 2017, et a prononcé son expulsion du territoire suisse pour une durée de cinq ans. Pour le surplus, le jugement du 15 juillet 2019 a été confirmé.
La cour cantonale a notamment retenu les faits suivants: A.A._, né en 1980, ressortissant de la République démocratique du Congo est arrivé en Suisse en 2004, à l'âge de 24 ans. En 2007, il s'est marié à C.A._ (également originaire du Congo) de nationalité suisse, avec laquelle il a eu trois enfants, nés en 2007, 2015 et 2017, lesquels ont également la nationalité suisse. Il a effectué une formation avec Certificat fédéral de capacité (CFC) en 2015 et est au bénéfice d'un permis d'établissement.
C.
A.A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 24 février 2021, en concluant à sa réforme, en ce sens qu'il soit renoncé à son expulsion. Subsidiairement, il conclut au renvoi de la cause à l'autorité inférieure pour nouvelle décision.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale de ne pas avoir renoncé à son expulsion sur la base de l'<ref-law>.
1.1. Les conditions pour appliquer l'<ref-law> sont cumulatives. Afin de pouvoir renoncer à une expulsion prévue par l'<ref-law>, il faut, d'une part, que cette mesure mette l'étranger dans une situation personnelle grave et, d'autre part, que les intérêts publics à l'expulsion ne l'emportent pas sur l'intérêt privé de l'étranger à demeurer en Suisse.
La clause de rigueur permet de garantir le principe de la proportionnalité (cf. art. 5 al. 2 Cst.; <ref-ruling> consid. 3.4.2 p. 108; <ref-ruling> consid. 3.3.1 p. 340). Elle doit être appliquée de manière restrictive (<ref-ruling> consid. 3.4.2 p. 108; <ref-ruling> consid. 3.3.1 p. 340). Selon la jurisprudence du Tribunal fédéral (cf. <ref-ruling> consid. 3 p. 108; <ref-ruling> consid. 3.3.2 p. 340 s.), il convient de s'inspirer des critères énoncés à l'art. 31 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201). L'art. 31 al. 1 OASA prévoit qu'une autorisation de séjour peut être octroyée dans les cas individuels d'extrême gravité. L'autorité doit tenir compte notamment de l'intégration du requérant selon les critères définis à l'art. 58a al. 1 de la loi fédérale sur les étrangers et l'intégration (LEI; RS 142.20), de la situation familiale, particulièrement de la période de scolarisation et de la durée de la scolarité des enfants, de la situation financière, de la durée de la présence en Suisse, de l'état de santé ainsi que des possibilités de réintégration dans l'État de provenance. Comme la liste de l'art. 31 al. 1 OASA n'est pas exhaustive et que l'expulsion relève du droit pénal, le juge devra également, dans l'examen du cas de rigueur, tenir compte des perspectives de réinsertion sociale du condamné (ATF <ref-ruling> consid. 3.3.2 p. 340 s.; arrêts 6B_1035/2020 du 20 mai 2021 consid. 4.1; 6B_1417/2019 du 13 mars 2020 consid. 2.1.1). En règle générale, il convient d'admettre l'existence d'un cas de rigueur au sens de l'<ref-law> lorsque l'expulsion constituerait, pour l'intéressé, une ingérence d'une certaine importance dans son droit au respect de sa vie privée et familiale garanti par la Constitution fédérale (art. 13 Cst.) et par le droit international, en particulier l'art. 8 CEDH (arrêts 6B_708/2020 du 11 mars 2021 consid. 5.1; 6B_50/2020 du 3 mars 2020 consid. 1.3.1).
1.2. Selon la jurisprudence, pour se prévaloir du droit au respect de sa vie privée au sens de l'art. 8 par. 1 CEDH, l'étranger doit établir l'existence de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire. Le Tribunal fédéral n'adopte pas une approche schématique qui consisterait à présumer, à partir d'une certaine durée de séjour en Suisse, que l'étranger y est enraciné et dispose de ce fait d'un droit de présence dans notre pays. Il procède bien plutôt à une pesée des intérêts en présence, en considérant la durée du séjour en Suisse comme un élément parmi d'autres et en n'accordant qu'un faible poids aux années passées en Suisse dans l'illégalité, en prison ou au bénéfice d'une simple tolérance (cf. <ref-ruling> consid. 4.3 p. 24; plus récemment arrêt 6B_818/2020 du 19 janvier 2021 consid. 6.1). Un séjour légal de dix années suppose en principe une bonne intégration de l'étranger (<ref-ruling> consid. 3.9 p. 277 s.).
Par ailleurs, un étranger peut se prévaloir de l'art. 8 par. 1 CEDH (et de l'art. 13 Cst.), qui garantit notamment le droit au respect de la vie familiale, pour s'opposer à l'éventuelle séparation de sa famille, pour autant qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (<ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 2.1 p. 336 et les références citées). Les relations familiales visées par l'art. 8 par. 1 CEDH sont avant tout celles qui concernent la famille dite nucléaire, soit celles qui existent entre époux ainsi qu'entre parents et enfants mineurs vivant en ménage commun (cf. <ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 1.3.2 p. 146; arrêt 6B_939/2020 du 4 mars 2021 consid. 3.1.2).
1.3. Il ressort du jugement attaqué que le recourant est arrivé en Suisse en 2004, à l'âge de 24 ans. Il y a achevé une formation avec CFC en 2015 et y a fondé une famille. Son épouse et ses trois enfants avec lesquels il vit et entretient de réelles relations familiales sont détenteurs de la nationalité suisse. La mère du recourant réside désormais en France, tandis que l'une de ses soeurs et un cousin avec lequel il conserve des contacts importants vivent au Congo. A l'instar de la juridiction cantonale, il convient d'admettre que l'expulsion du recourant le placerait dans une situation personnelle grave, à tout le moins en vertu de son droit au respect de sa vie familiale, dès lors qu'elle l'empêcherait de vivre avec son épouse et ses enfants qui bénéficient d'un droit de présence consolidé en Suisse. La première condition cumulative de l'<ref-law> étant réalisée, il reste à examiner si l'intérêt du recourant à demeurer en Suisse prime sur celui de l'État à son expulsion.
1.4. Cet examen implique en particulier de déterminer si la mesure litigieuse respecte le principe de la proportionnalité découlant des art. 5 al. 2 Cst. et 8 par. 2 CEDH (cf. arrêts 6B_50/2020 du 3 mars 2020 consid. 1.4; 6B_143/2019 du 6 mars 2019 consid. 3.4; 6B_1079/2018 du 14 décembre 2018 consid. 1.4).
2.
2.1. La cour cantonale a exposé que le recourant, ressortissant de la République démocratique du Congo, résidait en Suisse depuis 2004 et avait régulièrement travaillé depuis son arrivée dans ce pays. Il y avait achevé une formation de boulanger-pâtissier en 2015. Depuis lors, il avait été partiellement soutenu par l'aide sociale. Au chômage depuis 2020, ses perspectives professionnelles étaient floues. D'après la juridiction précédente, un retour au Congo ne serait toutefois pas dénué de chance de succès du point de vue de l'intégration professionnelle. En outre, elle a relevé que la situation financière du recourant demeurait précaire, considérant qu'il avait plus de 140'000 fr. d'actes de défaut de biens. Par ailleurs, son casier judiciaire était loin d'être vierge (sept condamnations prononcées entre 2012 et 2019), quand bien même les infractions commises relevaient d'une gravité relative. Elle a souligné à cet égard que le recourant s'en était déjà pris physiquement à autrui, ayant été condamné pour menaces en 2012 et voies de fait en 2014. Il avait également mis en danger les autres usagers de la route par une infraction grave aux règles de la circulation routière en 2013 et avait également fait parler de lui sur le plan judiciaire en montrant une violence certaine (contre des objets) et par des faits d'escroquerie (de peu de gravité). Quant aux actes reprochés dans la présente procédure, la cour cantonale a retenu que même si les violences avaient eu lieu dans le cadre familial, la collectivité avait été lourdement sollicitée à la suite des infractions commises par le recourant puisque sa fille avait dû être placée dans un foyer pendant plusieurs années, occasionnant un coût considérable. Le recourant avait par ailleurs affiché un manque total de prise de conscience pendant une grande partie de la procédure alors que les infractions retenues ne relevaient plus de la petite criminalité. Cela, cumulé à son parcours judiciaire émaillé de nombreuses condamnations judiciaires dont il ressortait un mépris caractérisé pour l'ordre juridique suisse et un pronostic global extrêmement mitigé, permettait de considérer que les intérêts publics à l'expulsion l'emportaient sur les intérêts privés du recourant. Par ailleurs, l'intérêt à ce qu'il reste en Suisse pour subvenir aux besoins de sa famille ne ressortait pas de sa conduite des dernières années et demeurait somme toute plutôt modeste, la totalité de la famille étant à la charge de la collectivité. Enfin, l'âge de ses plus jeunes enfants leur permettrait, le cas échéant, de s'adapter facilement à un déménagement à l'étranger. Quant à son fils adolescent, la cour cantonale a retenu que s'il ne souhaitait pas suivre son père, un lien pourrait être maintenu par les moyens de télécommunication modernes et des visites, par exemple, lors de vacances, tout en rappelant que l'expulsion du recourant était une mesure temporaire.
2.2. Pour l'essentiel, le recourant ne conteste pas les éléments le concernant avancés par la cour cantonale, mais se contente d'en réduire la portée sans remettre en question leur pertinence. Il fait valoir que s'il a certes des antécédents judiciaires, les infractions commises ne seraient, selon lui, pas si importantes. En outre, la seule infraction permettant l'application de l'<ref-law> n'avait été retenue qu'au stade de la tentative. Il reproche par ailleurs à la cour cantonale de n'avoir pas tenu compte des liens sociaux, professionnels et familiaux qu'il entretiendrait avec la Suisse. Il considère y être bien intégré dès lors qu'il maîtriserait la langue française et y aurait travaillé comme boulanger, quand bien même il se serait retrouvé - sans faute de sa part - quelques mois au chômage; il allait d'ailleurs travailler à nouveau à plein temps dès le mois d'avril 2021, de sorte qu'il pourrait subvenir aux besoins de sa famille. D'après le recourant, il serait " cruel et insensé " de priver ses enfants de leur père; la mesure d'expulsion les pénaliserait ainsi que leur mère. Il estime donc que la cour cantonale a violé le principe de la proportionnalité découlant des art. 5 al. 2 Cst. et 8 par. 2 CEDH en retenant que l'intérêt public à l'expulsion l'emportait sur son intérêt privé à demeurer auprès de sa famille.
2.2.1. Quoi qu'en dise le recourant, les intérêts présidant à son expulsion sont importants. Tout d'abord, le fait que l'infraction consacrant le cas d'expulsion soit restée au stade de la tentative ne permet pas de relativiser la gravité particulière qu'a revêtu l'infraction commise le 27 janvier 2017. Il ressort en effet des faits établis par la cour cantonale - qui lient le Tribunal fédéral (<ref-law>) et que le recourant ne conteste pas - que ce jour-là, alors qu'il se trouvait au domicile familial, le recourant a pris par le cou sa fille B.A._ (actuellement majeure et qui ne vit plus avec lui) l'empêchant de respirer, avant de lui administrer des claques, y compris après l'avoir mise à terre, où il l'a rouée de coups violents avec les mains et les pieds (nus) sans discernement sur l'entier du corps, y compris à la tête et dans les parties génitales au point de lui faire perdre connaissance pendant une durée indéterminée mais, in dubio, relativement courte. Il n'a cessé de la frapper que lorsque son épouse est intervenue. Ce faisant, le recourant a porté atteinte à un bien juridique essentiel, à savoir l'intégrité corporelle, au préjudice de son propre enfant, à l'égard duquel il s'est également rendu coupable de lésions corporelles simples (qualifiées), commises à réitérées reprises durant plusieurs années, et de violation de son devoir d'assistance et d'éducation. La gravité des infractions commises a conduit au prononcé d'une peine privative de liberté de 20 mois, avec sursis pendant 4 ans. Or en droit des étrangers, une révocation de l'autorisation de séjour est prévue par l'art. 62 al. 1 let. b LEI en cas de " peine privative de liberté de longue durée ", c'est-à-dire toute peine privative de liberté supérieure à un an (cf. <ref-ruling> consid. 2.1 p. 147), résultant d'un seul jugement pénal, qu'elle ait été prononcée avec sursis ou sans sursis (cf. <ref-ruling> consid. 2.1 p. 18). En outre, il ressort du jugement attaqué que le recourant a affiché une absence totale de remise en question durant la majeure partie de la procédure, rejetant la faute sur sa fille et se présentant en père parfait alors qu'il ressortait du dossier qu'il était au contraire un mari et un père violent. Cette attitude démontre que le recourant n'a pas compris qu'un tel comportement à l'égard de sa famille n'est pas admissible. A cela s'ajoute qu'il s'en était déjà pris physiquement à autrui par le passé. A cet égard, quand bien même les infractions figurant dans son casier judiciaire étaient d'une gravité relative, force est de constater qu'elles ont porté atteinte, au fil des ans, à plusieurs biens juridiquement protégés et révèlent, comme l'a retenu la juridiction précédente, un mépris persistant du recourant pour les lois et l'ordre juridique suisse, d'autant qu'il a encore fait l'objet d'une condamnation pour des faits d'escroquerie - certes de peu de gravité - le 10 novembre 2018, soit postérieurement aux infractions retenues dans la présente cause. Cela étant, la cour cantonale pouvait retenir que le pronostic global était extrêmement mitigé.
2.2.2. S'agissant de l'intérêt du recourant à demeurer en Suisse, en particulier de la solidité des liens sociaux, professionnels et familiaux avec ce pays, il apparaît que la durée du séjour du recourant est importante puisqu'il est arrivé en Suisse en 2004. Toutefois, contrairement à ce qu'il prétend, il ne peut pas se prévaloir d'une bonne intégration socio-économique et professionnelle. En effet, en sus des dettes accumulées, il a été partiellement soutenu par l'aide sociale depuis l'obtention de son CFC en 2015. La totalité de sa famille étant actuellement à la charge de la collectivité, il ne saurait être suivi lorsqu'il affirme être un soutien de famille pour son épouse et ses trois enfants. A cet égard, en tant qu'il se prévaut d'un nouvel emploi dès le 1er avril 2021, il invoque un fait nouveau irrecevable (<ref-law>). Sa maîtrise de la langue française ne permet pas de changer cette appréciation. Par ailleurs, les perspectives de réintégration du recourant au Congo ne seraient pas moindre que son intégration actuelle en Suisse. Il y a en effet vécu toute son enfance et une partie de sa vie d'adulte. Il est en possession d'une formation professionnelle qu'il pourra mettre à profit à son retour dans son pays d'origine, et il y possède un réseau familial puisque l'une de ses soeurs et un cousin avec lequel il conserve des contacts importants vivent encore au Congo.
2.2.3. S'agissant de ses liens familiaux, contrairement à l'étranger qui doit quitter le territoire suisse en y laissant sa famille, les membres de la famille de l'étranger expulsé ne subissent pas une atteinte à leur droit au respect de la vie familiale en raison de la décision d'expulsion, mais éventuellement par effet réflexe, s'ils font le choix de ne pas suivre l'expulsé dans son pays d'origine (<ref-ruling> consid. 3.3 p. 165).
Cependant, lorsque le parent qui sollicite l'autorisation de séjour a la garde exclusive et l'autorité parentale sur son enfant, le départ du parent entraîne de facto l'obligation pour l'enfant de quitter la Suisse. Dans le cas d'un enfant de nationalité suisse, le renvoi du parent entre, dans ce cas, en conflit avec les droits que l'enfant peut tirer de sa nationalité, comme la liberté d'établissement, l'interdiction du refoulement ou le droit de revenir ultérieurement en Suisse. Dans cette hypothèse, la jurisprudence rendue en droit des étrangers prévoit que dans la pesée des intérêts de l'art. 8 par. 2 CEDH, seule une atteinte d'une certaine gravité à l'ordre et à la sécurité publics peut l'emporter sur le droit de l'enfant suisse à pouvoir grandir en Suisse (cf. <ref-ruling> consid. 3.3 p. 148; <ref-ruling> consid. 2.2.2 p. 157; voir aussi l'arrêt 2C_1009/2018 du 30 janvier 2019 consid. 3.4.2).
En l'espèce, l'expulsion du recourant serait certes délicate pour son épouse et ses trois enfants vivant en ménage commun avec lui. La situation du recourant diffère cependant des situations visées par la jurisprudence citée supra. En effet, si les enfants du recourant sont suisses, il ne ressort pas des faits établis qu'il disposerait sur eux de l'autorité parentale et de la garde exclusives puisqu'il vit en ménage commun avec leur mère. Dans ces conditions, le départ du recourant n'entraînerait pas ipso facto le départ des enfants, de sorte que la mesure n'entrerait pas en conflit avec les droits que les enfants peuvent tirer de leur nationalité suisse. En outre, en cas d'expulsion des contacts resteraient possibles entre le recourant et sa famille par le biais de moyens de communication modernes et rien n'empêchera celle-ci de lui rendre visite au Congo.
2.3. Compte tenu de la gravité de l'infraction commise par le recourant - au préjudice de l'un de ses enfants -, compromettant un bien juridique particulièrement important, à savoir celui de l'intégrité corporelle, de ses antécédents judiciaires, du pronostic global extrêmement mitigé, de sa mauvaise intégration économique et professionnelle en Suisse et des possibilités qu'il conserve de se réintégrer dans son pays d'origine - où il ne sera pas privé de toute relation familiale - l'intérêt public à l'expulsion l'emporte sur l'intérêt privé de l'intéressé à demeurer en Suisse. Si l'expulsion portera certes une atteinte aux relations entre le recourant, son épouse et ses enfants, elle ne l'empêchera pas d'entretenir un contact avec ceux-ci, étant relevé que la mesure reste d'une durée limitée. L'expulsion du recourant s'avère ainsi conforme au principe de la proportionnalité découlant des art. 5 al. 2 Cst. et 8 par. 2 CEDH. Le recourant ne discute pas la durée de l'expulsion ordonnée pour cinq ans, laquelle représente, dans tous les cas, la durée minimale prévue à l'<ref-law>.
2.4. La seconde condition pour l'application de l'<ref-law> n'étant pas réalisée, la cour cantonale n'a pas violé le droit fédéral, constitutionnel ou international en ordonnant l'expulsion du recourant.
3.
Sur le vu de ce qui précède, le recours est rejeté. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, 2e Chambre pénale.
Lausanne, le 30 juin 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Paris