Faits :
A.
Par jugement du 29 juillet 2020, le Tribunal de l'arrondissement de la Sarine, statuant sur l'opposition à l'ordonnance pénale du 6 mars 2020, a reconnu A._ coupable de violation simple des règles de la circulation routière (perte de maîtrise) et de violation des devoirs en cas d'accident et l'a condamné à une amende de 300 francs.
B.
Par arrêt du 23 février 2021, la Cour d'appel pénal du Tribunal cantonal de Fribourg a rejeté l'appel formé par A._ à l'encontre de ce jugement. Les faits retenus sont en substance les suivants.
Le 13 décembre 2019, A._ a effectué une manoeuvre en marche arrière au volant de son véhicule afin de sortir de son garage. Il a heurté le véhicule de B._ stationné devant la maison - dans laquelle résident notamment A._ et son locataire -, le long du couvert à voitures. B._ était alors en visite chez le locataire de A._. Après le choc, A._ a demandé à B._ de déplacer son véhicule en lui faisant part de ses difficultés à sortir de son garage, sans toutefois lui annoncer les dégâts occasionnés, alors qu'il avait entendu un léger bruit de plastique. Il a finalement quitté les lieux de l'accident. Le lendemain, sur appel téléphonique de B._, A._ a admis avoir possiblement effleuré la voiture de ce dernier.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement, à la réforme de l'arrêt cantonal en ce sens qu'il est acquitté, que les frais de procédure de première instance et deuxième instance sont mis à la charge de l'État de Fribourg, et que la cause est renvoyée à la Cour d'appel pénal pour fixation d'une équitable indemnité. Subsidiairement, il conclut à la réforme de l'arrêt entrepris en ce sens qu'il est libéré du chef de violation des devoirs en cas d'accident, et au renvoi de la cause à l'autorité précédente pour fixation de la peine, fixation des frais de procédure de première et deuxième instance et d'une équitable indemnité.

Considérant en droit :
1.
Le recourant se plaint d'un établissement inexact des faits. Il affirme que la cour cantonale aurait dû retenir que la place sur laquelle s'est produit le sinistre appartenait au domaine privé et que son accès était restreint, ce qui était reconnaissable pour les tiers.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant de manière précise (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156 et les références citées).
1.2. La cour cantonale a constaté que l'usage de la place sur laquelle le sinistre était survenu, située devant la maison dans laquelle habitent le recourant et son locataire, était possible pour un groupe indéterminé de personnes, véhicules ou piétons. Le recourant avait déclaré lors de son audition par la police du 17 novembre 2019 avoir indiqué à son locataire que " s'il avait des visites, il devait l'aviser, surtout si les invités parquaient devant son garage ", ce qui démontrait que des tiers pouvaient s'y parquer ou y circuler. En outre, le seul fait d'une manoeuvre difficile en cas de parcage ne permettait pas de distinguer entre une route publique et une route privée. De plus, le recourant ne soutenait pas qu'il existait une barrière, une chaîne, un panneau ou encore un dépôt d'objets manifestant sa volonté de disposer exclusivement de la place. Aucun indice dans ce sens n'apparaissait non plus au dossier photographique de la police. Ainsi, en l'absence d'un aménagement particulier ou d'une signalisation visant à y restreindre l'accès, les tiers ne pouvaient pas conclure au caractère privé de cette place, même si le dallage différait de celui de la route attenante.
1.3. Lorsque le recourant soutient que sans invitation, aucune raison ne légitimait quiconque à pénétrer sur la place pavée devant l'entrée de la villa et que le locataire devait obtenir son autorisation pour que des tiers se garent à cet endroit, il procède par affirmations sans discuter la motivation cantonale qui expose les éléments sur lesquels elle s'est fondée pour retenir que la place pavée devant l'entrée de la villa n'était pas soumise à autorisation. De même, dans la mesure où il allègue que cette place était un espace privatif, non accessible à un nombre indéterminé de personnes au vu de la route du quartier par laquelle on accède à la villa, bordée d'autres maisons individuelles, dont l'accès est également privatif, et du dallage de la place privée différant du revêtement de la route, il ne fait que substituer son appréciation des faits à celle de la cour cantonale. Son grief est, dans cette mesure, largement appellatoire, partant, irrecevable.
En tout état, le fait que le recourant ait demandé à son locataire de l'aviser de la venue éventuelle de tiers ne révèle pas pour autant que l'usage de place pavée devant l'entrée de la villa était soumise à son autorisation, et donc qu'il s'agissait d'un espace restreint, mais simplement que le recourant souhaitait être informé si des voitures se parquaient sur cet emplacement. Le recourant n'établit pas que la cour cantonale serait tombée dans l'arbitraire en retenant que ses déclarations devaient être comprises en ce sens. Par ailleurs, l'autorité précédente a expliqué, en se fondant sur divers éléments, pourquoi elle retenait que la place pavée devant l'entrée du garage n'était pas reconnaissable comme étant un espace restreint. Le recourant ne conteste pas, en particulier, l'absence d'une barrière, d'une chaîne, d'un panneau ou encore d'un dépôt d'objets indiquant que le chemin est privé ou qui démontrerait sa volonté de disposer exclusivement de la place. Il s'ensuit que le recourant ne démontre pas en quoi l'établissement des faits serait entaché d'arbitraire.
2.
Le recourant conteste avoir été conscient d'avoir été impliqué dans un accident et invoque à cet égard le grief d'arbitraire dans l'établissement des faits.
2.1. Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève du contenu de la pensée, à savoir de faits " internes ", qui, en tant que faits, lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été retenus de manière arbitraire (<ref-ruling> consid. 6.3 p. 375; cf. <ref-ruling> consid. 12 p. 152).
2.2. S'agissant de son comportement après la collision entre les véhicules, la cour cantonale a considéré, à l'instar du premier juge, que le recourant avait admis, lorsque B._ lui avait téléphoné, qu'il était possible qu'il ait effleuré la voiture parquée et qu'il avait entendu un bruit au moment de l'impact. Il lui incombait de s'en assurer sur-le-champ et au besoin d'en informer le titulaire du véhicule, ce qu'il n'avait pas fait, alors qu'il était sorti de la voiture pour aller lui demander de déplacer sa voiture. Il n'était pas crédible d'imaginer que le recourant avait reculé dans un véhicule en entendant un bruit, sans se rendre compte qu'il pouvait y avoir un impact. Par conséquent, la cour cantonale a retenu que le recourant avait conscience qu'un accident avait pu survenir.
2.3. En tant que le recourant conteste avoir eu conscience d'avoir touché le véhicule de B._ - ayant, selon lui, avoir pensé toucher le mur du garage avec le rétroviseur de son véhicule, en raison du bruit de plastique qu'il avait entendu -, son argumentation repose essentiellement sur l'interprétation à donner à ses propres déclarations en cours de procédure et à son comportement le soir des faits. De tels développements relèvent, dans une large mesure, d'un procédé appellatoire et sont, partant, irrecevables dans le recours en matière pénale.
On observera, quoi qu'il en soit, que la cour cantonale pouvait, sans arbitraire, considérer que le recourant avait conscience qu'un accident avait peut-être eu lieu, même s'il espérait que tel ne soit pas le cas, étant donné qu'il avait admis après coup qu'il était possible qu'il ait effleuré la voiture parquée et qu'il avait déclaré avoir entendu un bruit au moment de l'impact. Son grief est infondé, dans la mesure où il est recevable.
3.
Le recourant soutient que la LCR n'est pas applicable au cas d'espèce.
3.1. Selon l'article premier LCR, cette loi régit la circulation sur la voie publique ainsi que la responsabilité civile et l'assurance pour les dommages causés par des véhicules automobiles, des cycles ou des engins assimilés à des véhicules (al. 1). Les conducteurs de véhicules automobiles et les cyclistes sont soumis aux règles de la circulation sur toutes les routes servant à la circulation publique; les autres usagers de la route ne sont soumis à ces règles que sur les routes ouvertes entièrement ou partiellement aux véhicules automobiles ou aux cycles (al. 2). L'art. 1 al. 2 de l'ordonnance sur les règles de la circulation routière (OCR; RS 741.11) précise que sont publiques les routes qui ne servent pas exclusivement à l'usage privé.
Selon la jurisprudence, il y a lieu de retenir une conception large de la notion de route publique. Ainsi, les places, les ponts, les tunnels, etc. sont à considérer comme routes au sens de la LCR (<ref-ruling> consid. 2 p. 31; arrêts 6B_384/2020 du 23 août 2021 consid. 1.4 destiné à publication; 6B_422/2018 du 22 février 2019 consid. 2.1.2). Le facteur déterminant n'est pas de savoir si la surface de la route est en propriété privée ou publique, mais si elle est utilisée pour la circulation générale et si son usage est possible pour un groupe indéterminé de personnes, même si son utilisation est limitée (<ref-ruling> consid. 3 p. 108; arrêts 6B_384/2020 précité consid. 1.4; 6B_422/2018 précité consid. 2.1.2 et 6B_1131/2018 du 21 janvier 2019 consid. 1.1). Ainsi, le caractère public ne dépend pas de la volonté du propriétaire mais de l'usage qui en est fait (arrêt 6B_384/2020 précité consid. 1.4; également: Bussy/Rusconi/Jeanneret/Kuhn/Mizel/Müller, Code suisse de la circulation routière commenté, 4e éd. 2015, n° 2.5 ad <ref-law> et les références citées).
Le Tribunal fédéral a déjà eu l'occasion de juger que le parking d'un immeuble comprenant des places pour visiteurs était une voie publique, dès lors que celui-ci était accessible à un nombre indéterminé de personnes (arrêt 6S.286/2003 du 26 septembre 2003 consid. 1.2 et 3.2; cf. aussi arrêts 6B_422/2018 précité consid. 2.1. 2; 6B_1131/2018 précité consid. 1.1). En effet, l'aire de circulation en question était également accessible aux " visiteurs " (par exemple les invités, les fournisseurs et les artisans) pour lesquels des places de parking spécifiques avaient été aménagées. Le cercle de personnes autorisées était donc certes limité selon la nature ou le but de l'utilisation qu'elles en faisaient, mais il demeurait néanmoins indéterminé (arrêt 6S.286/2003 précité consid. 3.2 i.f.).
De même, le Tribunal fédéral a jugé que si une entreprise souhaitait limiter à un usage exclusivement privé, la nuit ou les jours fériés, une zone ouverte à la circulation publique pendant les heures de travail, cette intention devait être rendue visible aux tiers par des signaux ou une barrière. En l'absence de telles précautions claires, le caractère public restait intact (arrêt 6B_384/2020 précité consid. 1.4 in fine).
3.2. La cour cantonale a considéré que la place pavée devant l'entrée du garage apparaissait en tous points comme une voie publique au sens de la LCR, puisqu'aucun aménagement particulier ni aucune signalisation visant à y restreindre la circulation ne s'y trouvait, permettant ainsi à un nombre indéterminé de personnes, véhicules ou piétons, d'en faire usage.
3.3. Le recourant soutient que la place en question ne relevait pas du domaine public car elle servait de sortie du garage ainsi que du couvert à voiture, mais n'était pas une place de parcage. En outre, il avait expressément communiqué à son locataire qu'il devait lui demander l'autorisation pour laisser pénétrer le véhicule de tierces personnes sur cette place.
3.4. Contrairement à ce que soutient le recourant, il ressort de la jurisprudence que toute voie est publique dès lors qu'elle est ouverte au public, la simple possibilité matérielle d'y accéder étant une condition suffisante. Le but de la loi est de soumettre l'usager aux règles de la circulation partout où il a la faculté de se rendre, même exceptionnellement. La qualification de la voie ne dépend donc pas de " l'utilisation effective " d'une place, mais de savoir si elle est utilisée pour la circulation générale et si son usage est possible pour un groupe indéterminé de personnes, ce qui est le cas en l'espèce. En effet, la cour cantonale a constaté sans arbitraire (cf. consid. 1 supra) que la place pavée devant le garage pouvait être empruntée par un nombre indéterminé de personnes, soit notamment des visiteurs, et aucun élément - barrière, chaîne, panneau ou dépôt d'objets - ne rendait visible, pour les tiers, la volonté du recourant de disposer exclusivement de celle-ci.
C'est également en vain que le recourant se prévaut des <ref-ruling> et 109 IV 131, étant donné que les états de fait divergent sur des éléments déterminants. Dans la première affaire précitée, une signalisation interdisant d'y pénétrer et d'y circuler se trouvait sur la place privée en question, tandis que dans le second cas, le propriétaire d'une partie du trottoir ouvert à la circulation publique avait manifesté sa volonté de disposer de son espace en y déposant des objets tels que des tables, chaises, bacs à fleurs, voire véhicules à moteur. Aucune de ces deux hypothèses n'est réalisée en l'occurrence. En effet, si l'intention du recourant était de rendre la place pavée devant l'entrée du garage de la villa privée, il devait la rendre visible aux tiers, notamment par des signaux ou une barrière. En l'absence de telles indications claires, l'emplacement en question doit être considéré comme étant une voie publique au sens de l'<ref-law> et 1 al. 2 OCR.
Il s'ensuit que la LCR ainsi que ses dispositions d'exécution sont applicables.
Dans la mesure où le recourant ne soulève pas d'autre grief à l'encontre de sa condamnation du chef de l'<ref-law>, celle-ci peut être confirmée.
4.
Au cas où la LCR serait applicable, le recourant conteste avoir violé ses devoirs en cas d'accident.
4.1. Selon l'<ref-law>, celui qui viole, lors d'un accident, les obligations que lui impose la loi sur la circulation routière, sera puni de l'amende.
Les devoirs en cas d'accident, dont la violation est réprimée par l'<ref-law>, sont énoncés à l'<ref-law>. Cette disposition prévoit qu'en cas d'accident où sont en cause des véhicules automobiles ou des cycles, toutes les personnes impliquées devront s'arrêter immédiatement. Elles sont tenues d'assurer, dans la mesure du possible, la sécurité de la circulation (al. 1). Si l'accident n'a causé que des dommages matériels, leur auteur en avertira tout de suite le lésé en indiquant son nom et son adresse. En cas d'impossibilité, il en informera sans délai la police (al. 3).
Les devoirs prévus à l'<ref-law> incombent à l'auteur et non aux personnes impliquées. L'auteur du dommage est celui dont le comportement est, même partiellement, à l'origine de l'une des causes de l'accident, indépendamment de toute faute et même s'il subit personnellement un dommage du fait de l'accident (arrêt 6S.8/2003 du 19 mars 2003 consid. 2; cf. aussi arrêt 6B_500/2013 du 9 septembre 2013 consid. 4.1). Il lui incombe personnellement de donner son nom et son adresse; il ne peut en charger un tiers que lorsqu'il y est obligé par une raison majeure et lorsque l'on peut être assuré que ces renseignements seront fournis sans délai (<ref-ruling> consid. 2 p. 223; arrêt 6B_500/2013 précité consid. 4.1).
4.2. La cour cantonale a retenu que le recourant avait conscience qu'un accident avait pu avoir lieu. Il lui incombait de vérifier sur-le-champ si un impact avait eu lieu et au besoin d'en informer le titulaire du véhicule, ce qu'il n'avait pas fait, alors qu'il était sorti de la voiture pour aller lui demander de déplacer sa voiture. Il avait ainsi violé ses devoirs en n'informant pas directement le propriétaire du véhicule accidenté.
4.3. Il a déjà été admis que la cour cantonale n'a pas fait preuve d'arbitraire en retenant que le recourant avait eu conscience de l'éventualité d'un accident (consid. 2 supra), de sorte qu'il n'y a plus lieu de revenir sur ce point.
Pour le reste, le recourant fait valoir qu'il s'était fait connaître de B._ le soir des faits lorsqu'il lui avait demandé de déplacer son véhicule et qu'aucun des deux n'avait constaté de dommage matériel à ce moment-là. B._ n'avait découvert le dommage que le lendemain et il en avait fait part au recourant qui avait admis sa responsabilité, de sorte qu'il fallait considérer qu'il avait rempli ses devoirs en cas d'accident.
Le raisonnement du recourant ne saurait être suivi. En effet, le prénommé, comme auteur d'un dommage, aurait dû informer le propriétaire du véhicule endommagé. Le fait qu'il ait demandé à B._ de déplacer sa voiture, et que par conséquent, celui-ci aurait pu s'apercevoir du dommage à ce moment-là, ne le dispensait pas de l'aviser personnellement d'avoir, ce soir-là, possiblement effleuré sa voiture parquée sur la place pavée devant le garage de la villa. La cour cantonale n'a donc pas violé le droit fédéral en condamnant le recourant pour violation des devoirs en cas d'accident. Le grief soulevé doit être rejeté.
5.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, ne saurait prétendre à l'octroi d'une indemnité au sens de l'<ref-law> et supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'État de Fribourg, Cour d'appel pénal.
Lausanne, le 29 novembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy