Faits :
A.
Par jugement du 10 juin 2020, le Tribunal de police de la République et canton de Neuchâtel a condamné A._ pour voies de fait (<ref-law>) et injure (<ref-law>) à une peine pécuniaire de 15jours-amende à 30 fr., sans sursis, ainsi qu'à une amende de 200 francs. Les frais de la procédure, par 879 fr., ont été mis à la charge de A._.
B.
Par jugement du 10 février 2021, la Cour pénale du Tribunal cantonal neuchâtelois a partiellement admis l'appel formé par A._ contre le jugement du 10 juin 2020. Celui-ci a été réformé en ce sens que A._ était condamné pour voies de fait (<ref-law>) et injure (<ref-law>) à une peine pécuniaire de 15 jours-amende à 30 fr., avec sursis pendant 2 ans.
En substance, les faits suivants ont été retenus.
B.a. Le soir du 9 septembre 2019, une altercation est survenue entre A._ et B._, voisins dans le même immeuble. A._ a traité B._ de "con", de "crétin" et de "boulet". De plus, il l'avait poussé et avait frappé ses avant-bras.
B.b. Entre 2013 et 2019, A._ a été condamné à six reprises pour diverses infractions à la LCR, dommages à la propriété, contravention à la LStup, gestion déloyale et violation de domicile, à des peines pécuniaires allant de 10 jours-amende à 70 jours-amende, le plus souvent avec sursis.
C.
Le ministère public forme un recours en matière pénale au Tribunal fédéral contre le jugement du 10 février 2021. Il conclut, avec suite de frais, principalement à la condamnation de A._ pour voies de fait (<ref-law>) et injure (<ref-law>) à une peine pécuniaire de 15jours-amende à 30 fr., sans sursis, et à la confirmation du jugement entrepris pour le surplus. Subsidiairement, il conclut à l'annulation de l'arrêt du 10 février 2021, et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
D.
Invités à se déterminer, A._ conclut à son acquittement, tandis que la cour cantonale a renoncé à formuler des observations, déclarant se référer à son jugement.

Considérant en droit :
1.
Le recourant conteste la décision de dernière instance cantonale uniquement dans la mesure où celle-ci assortit du sursis la peine infligée à l'intimé. Dans ce cadre, l'intimé n'est pas recevable à conclure, au pied de ses observations sur le recours, à son acquittement.
2.
Selon le recourant, c'est à tort que la cour cantonale a considéré que l'intimé pouvait bénéficier du sursis en dépit des six condamnations dont il avait fait l'objet au motif que la récidive n'était pas spécifique. Sur les six antécédents inscrits à son casier judiciaire, quatre étaient en lien direct avec ses voisins ou avec le propriétaire de l'immeuble dans lequel il vivait et étaient récents. L'intimé était dépourvu de liens sociaux et avait fait fuir une partie des locataires de l'immeuble en raison des conflits qui les opposaient. Il ne travaillait pas et n'était pas suivi médicalement malgré les recommandations que les médecins avaient, semble-il, émises. En outre, l'intéressé ne s'était pas repenti et avait tenté, durant toute la procédure, de minimiser ses actes, argumentant que les injures prononcées à l'encontre de son voisin n'en étaient pas et que le terme "C**" pouvait tout à fait signifier autre chose. Le déménagement du voisin en cause n'était pas une assurance pour l'avenir, puisque l'intimé, qui avait eu d'autres conflits avec ses voisins, n'avait manifestement pas modifié son comportement à la suite des sursis octroyés lors de ses précédentes condamnations. Enfin, le recourant peinait à voir le lien que la pratique de la médiation par son nouveau voisin pouvait avoir sur le comportement futur de l'intimé. Au vu de ces éléments, le pronostic ne pouvait qu'être défavorable, de sorte que la cour cantonale avait violé le droit fédéral en assortissant la peine infligée à l'intimé du sursis.
2.1. Le juge suspend en règle générale l'exécution d'une peine pécuniaire ou d'une peine privative de liberté de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits (<ref-law>).
Pour l'octroi du sursis, le juge doit poser un pronostic quant au comportement futur de l'auteur. En l'absence de pronostic défavorable, il doit prononcer le sursis. Celui-ci est ainsi la règle dont le juge ne peut s'écarter qu'en présence d'un pronostic défavorable ou hautement incertain (<ref-ruling> consid. 2.1 p. 186; <ref-ruling> consid. 4.2.2 p. 6; arrêt 6B_849/2020 du 5 novembre 2020 consid. 2.1). Pour formuler un pronostic sur l'amendement de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère du prévenu et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5; arrêt 6B_147 /2021 du 29 septembre 2021 consid. 3.2). Dans l'émission du pronostic, le juge dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient qu'en cas d'abus ou d'excès de ce pouvoir (<ref-ruling> consid. 2.2 p. 139; <ref-ruling> consid. 3.1.1 p. 281). Le défaut de prise de conscience de la faute peut justifier un pronostic défavorable, car seul celui qui se repent de son acte mérite la confiance que l'on doit pouvoir accorder au condamné bénéficiant du sursis (arrêts 6B_154/2021 du 17 novembre 2021 consid. 7.1; 6B_147/2021 du 29 septembre 2021 consid. 3.2 et les arrêts cités). Les antécédents pertinents doivent être pris en compte de manière significative dans l'établissement du pronostic; ils n'excluent toutefois pas nécessairement le sursis (arrêts 6B_696/2021 du 1er novembre 2021 consid. 5.2; 6B_617/2021 du 8 octobre 2021 consid. 1.3.1).
2.2. La cour cantonale a considéré qu'un pronostic défavorable ne pouvait pas être émis malgré les antécédents de l'intimé dont la gravité était relative au vu des peines clémentes ayant été prononcées et qui ne concernaient ni des injures, ni des voies de fait. En effet, l'intimé s'était trouvé confronté à une situation qui le dépassait émotionnellement et qui avait dégénéré au fil du temps, ce dont il semblait être conscient. Ses explications ne reflétaient pas un mauvais état d'esprit; au contraire, dénué de contacts sociaux, il cherchait à établir un lien avec son voisin et à le comprendre, même si la méthode choisie n'était probablement pas la plus adéquate. Actuellement, le climat était beaucoup plus serein, son ancien voisin avait déménagé et l'intimé s'estimait mieux entouré dans l'immeuble, grâce à la présence d'un locataire anthropologue qui faisait de la médiation. Dans ces circonstances, il était peu probable que la situation ne dégénère à nouveau.
2.3. L'appréciation cantonale des conditions du sursis ne saurait être suivie.
En premier lieu, la cour cantonale a faussement ignoré l'absence de prise de conscience et le défaut d'amendement de l'intimé. En effet, le prénommé a persisté, lors de la procédure, à minimiser ses actes, considérant que le conflit avec B._ était un jeu, que ce dernier "avait perdu", qu'il était "vexé" et avait ainsi déposé plainte contre lui (procès-verbal d'interrogatoire du 10 février 2021 devant la Cour pénale, p. 3). L'intimé n'avait d'ailleurs exprimé aucun regret, ni aucune excuse, et avait soutenu que les injures prononcées à l'encontre de son voisin n'en étaient pas, allant jusqu'à conférer différentes significations au terme "C**". La cour cantonale aurait dû en déduire que son manque d'amendement induisait un risque de réitération significatif, tout comme du reste, son absence de liens sociaux, singulièrement son peu d'empressement à se faire suivre médicalement. L'autorité précédente n'a pas non plus tenu compte de l'attitude chicanière de l'intimé vis-à-vis de ses voisins et du propriétaire depuis de nombreuses années, ayant eu pour conséquence que certains d'entre eux, à l'instar de B._, avaient quitté l'immeuble.
En second lieu, dans la mesure où l'intimé a été condamné pénalement à six reprises entre 2013 et 2019notamment pour dommages à la propriété dans son immeuble et sur la haie de sa voisine, violation de domicile dans le garage de son voisin et gestion déloyale de l'immeuble qui appartient à son père, dans un laps de temps très court, soit du 12 juin 2017 au 13 mars 2019, les antécédents doivent être qualifiés de "mauvais". Même s'ils ne sont pas spécifiques, ils sont pertinents dans l'émission du pronostic puisqu'ils sont intervenus dans le même contexte de faits que les infractions de la présente cause (cf. consid. 2.1 in fine). En effet, l'intimé s'en est pris encore une fois à l'un de ses voisins, alors même qu'il a été condamné à quatre reprises pour des actes répréhensibles envers les locataires et le propriétaire de l'immeuble dans lequel il habite, ce qui démontre qu'il n'a pas saisi la gravité de ses actes et qu'il se révèle insensible aux sanctions pénales prononcées par le passé. Peu importe, par ailleurs, que le recourant n'agisse pas dans un "mauvais état d'esprit", comme l'a retenu la cour cantonale; il n'en demeure pas moins que l'intimé ne parvient pas à se conformer à l'ordre légal, en particulier dans le contexte de ses relations de voisinage.
Enfin, l'appréciation cantonale selon laquelle le climat était plus serein depuis le départ de B._ et l'arrivée du nouveau voisin ne saurait suffire à pallier les éléments exposés ci-avant.
En définitive, en ignorant, respectivement en relativisant chez l'intimé l'absence de regret, le défaut de prise de conscience, la minimisation de son comportement, la persistance du déni de la commission de certaines injures, et en méconnaissant la portée des antécédents de l'intimé, la cour cantonale a faussement apprécié le pronostic en considérant qu'il n'était pas défavorable. Elle a donc violé le droit fédéral en acceptant d'assortir la peine pécuniaire du sursis à l'exécution.
3.
Le recours doit ainsi être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour qu'elle statue à nouveau sur la peine dans le sens des considérants. Il n'y a pas lieu d'allouer une indemnité à l'accusateur public qui obtient gain de cause (cf. <ref-law>). Il est statué sans frais judiciaires (art. 66 al. 1, 2ème phrase, LTF), ni dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il est statué sans frais judiciaires, ni dépens.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour pénale, ainsi qu'à B._.
Lausanne, le 20 décembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy