Faits :
A.
Le 21 mars 2019, le Service cantonal des contributions du canton de Fribourg a notifié aux époux A.A._ et B.A._ leurs avis de taxation pour l'impôt fédéral direct, cantonal et communal des périodes fiscales 2016 et 2017.
Par courrier de leur représentant du 11 avril 2019, les contribuables ont contesté les décisions de taxation rendues le 21 mars 2019 par le Service cantonal des contributions. Par décisions du 11 mars 2020, ce dernier a rejeté les réclamations.
Par courrier du 9 avril 2020, les contribuables ont écrit au Service cantonal des contributions que ni leur mandataire ni eux-mêmes n'avaient reçu les décisions sur réclamation, dont ils n'avaient eu connaissance que lors d'un contact avec leur commune de domicile.
Par courrier du 22 avril 2020, le Service cantonal des contributions a remis aux contribuables une copie des décisions sur réclamation du 11 mars 2020.
A la suite d'un courrier du nouveau mandataire des contribuables du 22 avril 2020, le Service cantonal des contributions a communiqué à ce dernier les décisions sur réclamation, qui portaient nouvellement la date du 7 mai 2020.
Par mémoire du 10 juin 2020, le mandataire des contribuables a déposé un recours auprès du Tribunal cantonal du canton de Fribourg "contre les décisions sur réclamation du 10 mai 2020" (sic) tout en produisant les décisions sur réclamation portant la date du 11 mars 2020.
B.
Par arrêt du 24 octobre 2020, le Tribunal cantonal du canton de Fribourg a déclaré irrecevable pour tardiveté le recours que les contribuables avaient déposé contre les décisions sur réclamation rendues par le Service cantonal des contributions.
C.
Agissant par la voie du recours en matière de droit public et celle subsidiaire du recours constitutionnel, les contribuables demandent au Tribunal fédéral, sous suite de frais et dépens, de déclarer que le recours formé le 10 juin 2020 a été déposé en temps utile et partant recevable.
Le Service cantonal des contributions a renoncé à déposer des observations se référant à l'arrêt attaqué. Le Tribunal cantonal a renvoyé aux considérants de son arrêt et conclu au rejet du recours.

Considérant en droit :
1.
La voie du recours en matière de droit public est ouverte (cf. art. 82 let. a, art. 86 al. 1 let. d et al. 2 et <ref-law>; <ref-law> et <ref-law>), le recours ne tombant sous le coup d'aucune des exceptions prévues à l'<ref-law>. Le recours a été formé en temps utile (<ref-law>) par les destinataires de l'arrêt attaqué, qui ont qualité pour recourir (cf. <ref-law>). Il s'ensuit que le recours constitutionnel subsidiaire est irrecevable (<ref-law> a contrario).
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). Aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté (<ref-law>).
En l'espèce, les recourants exposent que la décision de l'instance précédente appelle des compléments sans démontrer que les conditions prévues par l'<ref-law> sont réunies à cet effet. Il n'est par conséquent pas possible de s'écarter des constatations de fait de l'arrêt attaqué.
2.2. Saisi d'un recours, le Tribunal fédéral applique le droit d'office (<ref-law>). Selon l'<ref-law> toutefois, il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (cf. <ref-ruling> consid. 2.4 p. 368 et les arrêts cités).
3.
3.1. L'instance précédente a jugé que les recourants avaient eu connaissance des décisions sur réclamation à réception du courrier de l'autorité intimée du 22 avril 2020, soit au plus tard à la fin du mois d'avril 2020, de sorte que le délai de recours expirait au plus tard le 1er juin 2020 et que l'acte de recours du 10 juin 2020 était tardif. Ces derniers avaient en effet produit à l'appui de leur recours les décisions sur réclamation portant la date du 11 mars 2020 et non pas celles portant la date du 7 mai 2020, communiquées ultérieurement à leur mandataire, de sorte que le courrier du 22 avril 2020 adressé aux contribuables avaient été dûment réceptionné.
3.2. Les recourants soutiennent que l'arrêt attaqué retient à tort qu'ils ont reçu les décisions sur réclamation avant le 11 mai 2020 sans que l'autorité n'en apporte la preuve: comme il s'agissait de plis simples, il appartenait à l'autorité intimée de prouver la date de la notification. Or celle-ci n'a produit aucun accusé-réception ni récépissé postal.
I. Impôt fédéral direct
4.
4.1. Selon l'<ref-law>, le contribuable peut s'opposer à la décision sur réclamation de l'autorité de taxation en s'adressant, dans les 30 jours à compter de la notification de la décision attaquée, à une commission de recours indépendante des autorités fiscales. Le délai commence à courir le lendemain de la notification (<ref-law>, applicable par analogie selon l'<ref-law>). Le délai de l'<ref-law> est un délai péremptoire, qui ne peut pas être prolongé (cf. <ref-law>). Une fois le délai passé, le recours contre une décision sur réclamation n'est recevable que si la partie recourante établit qu'elle a été empêchée d'agir en temps utile et qu'elle l'a déposé dans les trente jours après la fin de l'empêchement (cf. <ref-law>, applicable par renvoi de l'<ref-law>). Sinon, la décision sur réclamation entre en principe en force et le contribuable est tenu d'acquitter l'impôt réclamé.
4.2. L'<ref-law> prévoit que les décisions et les prononcés sont notifiés au contribuable par écrit et doivent indiquer les voies de droit. La LIFD ne prescrit au surplus aucun mode particulier pour la notification des décisions. En pratique, la notification intervient généralement sous pli simple. Le fardeau de la preuve de la notification de l'acte et de la date de celle-ci incombe en principe à l'autorité qui entend en tirer une conséquence juridique. L'autorité supporte donc les conséquences de l'absence de preuve, en ce sens que si la notification d'un acte ou sa date sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (arrêts 2C_884/2019 du 10 mars 2020 consid.7.1; 2C_250/2018 du 26 octobre 2018 consid. 5.2 et les références).
4.3. Une décision irrégulièrement notifiée n'est pas nulle, mais seulement inopposable à ceux qui auraient dû en être les destinataires. Une telle décision ne peut donc pas les lier, mais la protection des parties est suffisamment garantie lorsque la notification irrégulière atteint son but malgré cette irrégularité (cf. <ref-ruling> consid. 11.2 p. 260; <ref-ruling> consid. 3.1 p. 27; arrêts 2C_1021/2018 du 26 juillet 2019 consid. 4.2; 1C_311/18 du 2 avril 2019 consid. 3.2). Il y a lieu d'examiner, d'après les circonstances du cas concret, si la partie intéressée a réellement été induite en erreur par l'irrégularité de la notification et a, de ce fait, subi un préjudice. Il convient à cet égard de s'en tenir aux règles de la bonne foi qui imposent une limite à l'invocation du vice de forme. En vertu de ce principe, l'intéressé est tenu de se renseigner sur l'existence et le contenu de la décision dès qu'il peut en soupçonner l'existence, sous peine de se voir opposer l'irrecevabilité d'un éventuel moyen pour cause de tardiveté (<ref-ruling> consid. 1.3 p. 232; <ref-ruling> consid. 4c p. 150; arrêts précités 2C_1021/2018 consid. 4.2; 1C_311/2018 consid. 3.2). Le principe de la bonne foi oblige en effet celui qui constate un prétendu vice de procédure à le signaler immédiatement, à un moment où il pourrait encore être corrigé, et lui interdit d'attendre, en restant passif, afin de pouvoir s'en prévaloir ultérieurement devant l'autorité de recours (<ref-ruling> consid. 4.3 p. 496 et les références).
4.4. En l'occurrence, il ressort des faits constatés par l'instance précédente que les recourants avaient déposé une réclamation contre les décisions de taxation du 21 mars 2019 par le biais d'un représentant, que l'autorité intimée a rendu une décision sur réclamation datée du 11 mars 2020 et que ces décisions sur réclamation n'ont pas été notifiées à leur représentant. Ce sont les recourants qui ont signalé, par courrier du 9 avril 2020, à l'autorité intimée l'absence de notification des décisions du 11 mars 2020. A ce stade, l'autorité intimée, qui avait connaissance du mandat confié par les recourants en procédure de réclamation et dont il n'est pas allégué qu'il aurait été révoqué, aurait dû notifier une nouvelle fois les décisions de réclamation du 11 mars 2020 au premier représentant des recourants, ce qu'elle n'a pas fait. L'autorité intimée a néanmoins communiqué une copie des décisions sur réclamation du 11 mars 2020 aux recourants par pli simple du 22 avril 2020. On se trouve par conséquent dans une situation de notification irrégulière.
La question qui se pose est par conséquent de savoir si c'est à bon droit que les juges précédents ont considéré que les recourants ont agi tardivement en formant un recours le 10 juin 2020 contre les décisions sur réclamation 2016 et 2017 auprès du Tribunal cantonal et l'ont déclaré irrecevable.
4.5. En l'occurrence, les recourants se sont vu communiquer une copie des décisions sur réclamation du 11 mars 2020 par pli simple du 22 avril 2020. Sur demande écrite également du 22 avril 2020 de leur nouveau mandataire, de nouvelles décisions sur réclamation nouvellement datées du 7 mai 2020, ont été communiquées par l'autorité intimée sous pli simple à ce dernier, qui affirme les avoir reçues le 11 mai 2020. Il convient de souligner ici qu'en notifiant directement aux contribuables, au lieu de leur premier représentant, une copie des décisions du 11 mars et en notifiant parallèlement les décisions sur réclamation à leur nouveau mandataire, mais en changeant leur date, l'autorité intimée a créé un flou, dont il sera tenu compte ci-dessous. Quoi qu'il en soit toutefois, les courriers en cause ayant été postés sous pli simple, il appartenait à l'autorité intimée de prouver la date de leur notification.
Il y a lieu à cet égard de constater, selon les faits retenus par l'instance précédente, que le recours que le mandataire des recourants a déposé auprès de celle-ci était intitulé recours "contre les décisions sur réclamation du 10 mai 2020", mais qu'étaient produites les décisions sur réclamation portant la date du 11 mars 2020. Les recourants et leur mandataire ne peuvent par conséquent pas affirmer de bonne foi n'avoir pas reçu la copie des décisions du 11 mars 2020 et dans le même temps les produire avec leur recours auprès du Tribunal cantonal. Il en découle plutôt que le mandataire des recourants avait en main deux jeux de décisions, qui portaient à l'évidence des dates différentes et dont l'un des deux lui avait été remis par ses clients. Les recourants contestent certes avoir reçu les décisions datées du 11 mars 2020 avant le 11 mai 2020, mais n'énoncent aucune circonstances qui permettrait de douter que le pli simple du 22 avril 2020 ne leur serait pas parvenu avant le 11 mai 2020 et le Tribunal de céans n'en voit aucune. L'arrêt attaqué a du reste constaté en fait qu'au plus tard le 30 avril 2020 les recourants avaient eu connaissance des décisions sur réclamation datées du 11 mars 2020. Si les recourants entendaient contester ce point, ils devaient se plaindre de l'établissement des faits, ce qu'ils n'ont pas fait. En outre ils ont remis ces décisions à leur nouveau mandataire, comme cela ressort indirectement des faits retenus par l'instance précédente, qui retient qu'avec le recours déposé devant elle étaient produites les décisions datées du 11 mars 2020. Dans ces conditions, il appartenait à ce dernier de s'enquérir auprès de ses mandants de la date à laquelle ils avaient reçues celles-ci. En tant que mandataire professionnel, il ne pouvait pas considérer que la communication des décisions datées du 7 mai 2020, intervenue le 11 mai 2020, était seule déterminante pour le calcul du délai de recours de 30 jours, d'autant moins que leur contenu était, hormis la date, identique. Dans ces conditions, en jugeant que le délai de recours contre les décisions sur réclamation a commencé à courir dès le 30 avril 2020, l'instance précédente n'a pas violé le droit fédéral.
Il s'ensuit que l'irrecevabilité du recours devant l'instance précédente en matière d'impôt fédéral direct doit être confirmée et le recours rejeté en tant qu'il concerne l'impôt fédéral direct..
II. Impôt cantonal et communal
5.
Selon l'art. 180 al. 1 de la loi fribourgeoise sur les impôts cantonaux directs du 6 juin 2000 (LICD; RSF 631.1), le contribuable peut s'opposer à la décision sur réclamation de l'autorité de taxation en s'adressant, dans les trente jours à compter de la notification de la décision attaquée, au Tribunal cantonal (cf. aussi l'<ref-law>).
La loi sur l'harmonisation fiscale ne prescrit pas de forme s'agissant de la notification des décisions (cf. arrêt 2C_250/2018 du 26 octobre 2018 consid. 5.2). Les conséquences d'une notification irrégulière sont les mêmes qu'en droit fédéral (cf. arrêt 8C_130/2014 du 22 janvier 2015 consid. 2.3.2, in SJ 2015 I 293). Il peut partant être renvoyé à ce qui a été dit en lien avec l'impôt fédéral direct (consid. 4).
Il s'ensuit que le recours est également rejeté s'agissant de l'impôt cantonal et communal.
6.
Le recours constitutionnel subsidiaire est irrecevable et le recours en matière de droit public entièrement rejeté en tant qu'il concerne l'impôt fédéral direct, cantonal et communal. Les frais judiciaires sont partiellement mis à la charge des recourants solidairement entre eux (art. 66 al. 1 et 5 LTF), qui ont succombé toutefois pour partie en raison du flou provoqué par l'autorité intimée (cf. consid. 4.5 ci-dessus), qui supportera également une partie des frais de la procédure. Le canton n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours en matière de droit public est rejeté en tant qu'il concerne l'impôt cantonal et communal.
4.
Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge des recourants solidairement entre eux, à raison de 1'500 fr., et à la charge du canton de Fribourg à raison de 500 fr.
5.
Le présent arrêt est communiqué au mandataire des recourants, au Service cantonal des contributions du canton de Fribourg, au Tribunal cantonal du canton de Fribourg, Cour fiscale, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 26 février 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Dubey