Faits :
A.
Par ordonnance pénale du 22 février 2019 prononcée par le Ministère public du canton de Fribourg, A._ a été condamné à une peine pécuniaire de 20 jours-amende à 50 fr. le jour, avec sursis pendant quatre ans, et au paiement d'une amende de 500 fr. pour des infractions à la loi fédérale sur la circulation routière (avoir laissé conduire sans permis de circulation ou plaque de contrôle et sans assurance-responsabilité civile). Il y a fait opposition le 22 mars 2019. Le Ministère public a transmis la cause au Juge de police du Tribunal pénal de l'arrondissement de la Sarine.
B.
Par mandat du 19 juillet 2019, A._ a été cité à comparaître personnellement à l'audience du 11 septembre 2019 par-devant le Juge de police. Il ne s'y est pas présenté. Par ordonnance du 11 septembre 2019, le Juge de police a pris acte que l'opposition était réputée retirée en raison du défaut non excusé de l'opposant non représenté et a constaté que l'ordonnance pénale entrait en force à la date de son prononcé.
Par courrier du 12 septembre 2019, A._ s'est excusé d'avoir manqué l'audience de la veille, expliquant avoir eu beaucoup de choses à régler et l'avoir complètement oubliée. Il a aussi requis la fixation d'une nouvelle audience.
Le 6 avril 2020, A._ s'est adressé au ministère public pour lui demander la réouverture de sa procédure et a produit un certificat médical daté du 13 octobre 2019 attestant qu'il n'était pas en mesure de gérer les aspects administratifs et financiers de sa société ni ses affaires personnelles pour la période entre fin avril 2018 et septembre 2019. Le 14 avril 2020, le ministère public lui a répondu qu'il ne pouvait accéder à sa demande en raison de l'entrée en force de l'ordonnance pénale. Le 18 mai 2020, il a requis formellement la restitution de l'audience, invoquant une incapacité de comparaître en raison de problèmes de santé. Le 27 mai 2020, le ministère public lui a répété qu'il ne pouvait donner suite à sa demande compte tenu de l'entrée en force de l'ordonnance pénale.
Le 15 juin 2020, A._, par le biais d'un mandataire professionnel, a demandé au Juge de police la restitution de l'audience du 11 septembre 2019, produisant un nouveau certificat médical daté du 10 juin 2020 qui atteste son incapacité à gérer les aspects administratifs et financiers de sa société ainsi que ses affaires personnelles pour une période allant d'octobre 2018 à mai 2020.
Par ordonnance du 22 juillet 2020, le Juge de police a rejeté la requête de restitution d'audience formulée le 12 septembre 2019 et confirmée les 6 avril, 18 mai et 15 juin 2020 par A._.
C.
Par arrêt du 28 septembre 2020, la Chambre pénale du Tribunal cantonal fribourgeois a rejeté le recours formé par A._ à l'encontre de l'ordonnance du Juge de police. Elle a considéré que les conditions d'une restitution de l'audience d'opposition à l'ordonnance pénale n'étaient pas réunies.
D.
A._ forme un recours en matière pénale à l'encontre de l'arrêt de la Chambre pénale du Tribunal cantonal fribourgeois. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que la demande de restitution d'audience formée le 15 juin 2020 est admise, subsidiairement à son annulation et au renvoi de la cause à l'autorité inférieure pour nouvelle décision.

Considérant en droit :
1.
Le recourant fait grief à la cour cantonale d'avoir violé l'<ref-law>. Il soutient que les conditions d'une restitution de l'audience d'opposition à l'ordonnance pénale étaient réunies.
1.1. Conformément à l'<ref-law>, une partie est défaillante si elle n'accomplit pas un acte de procédure à temps ou ne se présente pas à l'audience fixée.
Aux termes de l'<ref-law>, une partie peut demander la restitution du délai si elle a été empêchée de l'observer et qu'elle est de ce fait exposée à un préjudice important et irréparable. Elle doit rendre vraisemblable que le défaut n'est imputable à aucune faute de sa part.
Selon la jurisprudence, une restitution au sens de l'<ref-law> ne peut intervenir que lorsqu'un événement, par exemple une maladie ou un accident, met la partie objectivement ou subjectivement dans l'impossibilité d'agir par elle-même ou de charger une tierce personne d'agir en son nom dans le délai (arrêt 6B_401/2019 du 1er juillet 2019 consid. 2.3 et l'arrêt cité). Doivent être pris en considération, pour déterminer si cette condition est remplie, l'époque à laquelle l'accident ou la maladie sont survenus ainsi que l'ampleur de l'atteinte à la santé (arrêt 6B_1409/2017 du 12 juin 2018 consid. 3.1; cf. <ref-ruling> consid. 2a p. 87; <ref-ruling> consid. 2a p. 255).
2.
Est ici seule litigieuse la condition de la vraisemblance d'un empêchement non fautif au sens de l'<ref-law>.
2.1. Dans l'arrêt entrepris, la cour cantonale a retenu que le recourant évoquait des troubles psychiques qui l'avaient empêché de se présenter à l'audience du 11 septembre 2019. Les premiers certificats médicaux produits émanant d'un médecin psychiatre indiquaient que le recourant "n'était pas en mesure de gérer les aspects administratifs et financiers de sa société ainsi que ses affaires personnelles" durant la période d'octobre 2018 à fin septembre 2019 puis jusqu'au 31 mai 2020. Le dernier certificat produit de ce même médecin précisait que le diagnostic posé était le suivant: burn out (Z73.0), épisode dépressif moyen (F32.1), major depressive disorder, single episode, moderate (F32.1).
La cour cantonale a constaté que le recourant avait accompli différents actes de procédure sans l'assistance d'un mandataire ou d'un tiers à plusieurs reprises durant la période d'incapacité alléguée (entre octobre 2018 et mai 2020). Le 17 décembre 2018, il avait écrit à l'assurance pour lui demander une attestation car la police souhaitait l'auditionner. Cette audition avaiteu lieu le 23 février 2019. Il y avait été entendu sans la présence d'un avocat et avait déclaré à cette occasion qu'il s'estimait apte à suivre l'interrogatoire. Le 22 mars 2019, il avait fait opposition à l'ordonnance pénale du 22 février 2019 qui lui était parvenue selon ses dires deux jours auparavant. Le 7 mai 2019, il s'était présenté à l'audition devant le ministère public, sans avocat, et avait été entendu. Il avait, à nouveau, produit des pièces. Le Juge de police lui avait fait notifier une citation à comparaître qu'il était allé lui-même réceptionner à la poste le 24 juillet 2019. Sans avocat, il avait adressé un courriel au Juge de police le lendemain de l'audience à laquelle il ne s'était pas présenté pour demander une nouvelle audience car il avait oublié celle de la veille.
Selon l'attestation de B._ produite par le recourant, celui-ci avait rédigé les courriers adressés au ministère public les 6 avril et 18 mai 2020 pour demander une nouvelle audience. De l'avis de la cour cantonale, qu'un tiers ait aidé le recourant à rédiger deux courriers n'enlevait rien au constat selon lequel, durant de nombreux mois couvrant la période d'incapacité alléguée, le recourant avait pu accomplir lui-même diverses démarches procédurales, parfois même en se présentant personnellement devant des autorités, malgré ses troubles psychiques. Ces troubles ne l'avaient pas non plus empêché de demander à un tiers de s'occuper de ses affaires personnelles et de celles de sa société, ni de mandater un avocat. En outre, le recourant se savait souffrir de troubles psychiques depuis un certain temps, soit au moins depuis octobre 2018 à lire le certificat médical. Il ne s'agissait pas de troubles inattendus, survenus peu avant l'audience à laquelle il ne s'était pas présenté. Tout comme il avait été en mesure de s'adjoindre l'aide d'un tiers pour gérer sa société respectivement d'un mandataire pour des démarches judiciaires, il aurait pu prendre ses dispositions pour assurer sa présence à l'audience du 11 septembre 2019. Il avait expliqué le lendemain au Juge de police qu'il l'avait oubliée car il avait planifié et réglé énormément de choses. Le recourant était ainsi demeuré actif dans le règlement d'affaires en dépit de ses troubles psychiques.
Sur la base de ces constatations, la cour cantonale a conclu que le recourant n'était pas totalement incapable de gérer ses affaires personnelles et celles de sa société durant environ 18 mois en raison de ses problèmes psychiques au point de justifier son absence à l'audience du 11 septembre 2019. Les diverses démarches procédurales qu'il avait lui-même accomplies sur plusieurs mois durant la période d'incapacité alléguée tout comme sa faculté à s'adjoindre l'aide de tiers démontraient clairement le contraire. En outre, les certificats produits n'attestaient pas spécifiquement que le recourant aurait été en proie par exemple à un épisode psychique d'une intensité plus particulière au point de l'empêcher momentanément et soudainement de se présenter à l'audience le 11 septembre 2019. La cour cantonale a par conséquent refusé de restituer l'audience au sens de l'<ref-law>.
2.2.
2.2.1. Le recourant fait valoir que les troubles dont il souffre sont d'ampleur fluctuante, déjà par nature et ainsi qu'en atteste le certificat médical du 31 juillet 2020, qui constate un état dépressif moyen, mais également un épisode dépressif majeur.
Pour autant, comme l'a relevé la cour cantonale, le recourant n'a nullement établi qu'il aurait été davantage atteint dans son état psychique le jour de l'audience du 11 septembre 2019 que lorsqu'il a accompli les nombreux actes de procédure mis en exergue par l'autorité précédente. Ce moyen est ainsi dénué de portée.
2.2.2. Le recourant soutient ensuite que la plupart des actes de procédure qu'il a accomplis étaient soit inutiles, soit défaillants, ce qui reflétait précisément son état de santé. Il cite en exemple sa demande formée auprès du ministère public tendant à la tenue d'une nouvelle audience, alors qu'il convenait à ce stade de requérir une restitution de délai auprès du Juge de police de l'arrondissement de la Sarine. Il se prévaut également du recours qu'il a formé seul auprès du Tribunal cantonal fribourgeois en concluant à la "révision [sic] de l'ordonnance pénale du Tribunal cantonal [sic] du 22 février 2019".
C'est de manière appellatoire, partant irrecevable (cf. <ref-law>), que le recourant soutient que son état psychique expliquerait certaines erreurs de forme entachant ses actes. De telles allégations ne trouvent au demeurant aucun ancrage dans le dossier, étant relevé que le recourant a procédé à ces démarches juridiques sans l'aide d'un mandataire professionnel; il souligne d'ailleurs lui-même qu'on ne saurait lui reprocher sa méconnaissance, en tant que profane du droit, des subtilités du Code de procédure pénale (sans toutefois soulever de grief à cet égard, étant encore précisé qu'il ne s'agissait pas ici d'un cas de défense obligatoire au sens de l'<ref-law>). Pour le reste, il était pertinent de constater, comme l'a fait la cour cantonale, que le recourant n'a pas manqué d'agir pour la défense de ses intérêts dans la procédure engagée contre lui pendant la période couverte par les certificats médicaux.
2.2.3. Enfin, le recourant fait grief à la cour cantonale d'avoir mené une analyse juridique sous l'angle de la preuve stricte et non de la vraisemblance, comme le prescrit l'<ref-law>. Or, selon la motivation claire du jugement attaqué, l'autorité précédente a considéré que le recourant n'avait pas été empêché de se présenter à l'audience en raison de sa maladie. Elle a ainsi exclu toute vraisemblance de l'existence d'un empêchement non fautif. Le regard qu'elle a porté sur la réalisation de cette condition de l'<ref-law> ne prête donc pas le flanc à la critique.
2.2.4. Pour le surplus, le recourant échoue à démontrer en quoi les développements très complets de la cour cantonale, auxquels il peut être renvoyé (<ref-law>), ne seraient pas conformes au droit.
Dans ces conditions, le refus d'octroyer au recourant la restitution du délai pour former opposition ne viole pas l'<ref-law>.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Chambre pénale.
Lausanne, le 8 janvier 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy