Faits :
A.
A._ est domicilié à Fribourg avec son épouse (dont le nom ne figure pas dans l'arrêt attaqué) et leurs deux enfants, nés en 1995 et en 1997.
Par décision du 23 août 2016, l'Office AI du canton de Fribourg a mis A._ au bénéfice d'une rente AI de 1'410 fr. par mois et d'une rente mensuelle complémentaire de 564 fr. pour chacun des enfants, à compter du 1 er septembre 2016. Le 13 septembre 2016, cette autorité a par ailleurs modifié le taux d'invalidité de A._ avec effet rétroactif au 1 er décembre 2011. En conséquence de cette modification, A._ a perçu en capital, en 2016, les arriérés de rentes AI et LPP dues depuis le 1 er décembre 2011.
Pour l'année 2016, l'épouse de A._ a fait l'objet de deux certificats de salaire, le premier mentionnant un salaire net de 52'826 fr. et le second un salaire net de 5'476 francs.
Dans leur déclaration fiscale 2016, les contribuables ont reporté, s'agissant des revenus de l'époux, un montant de 22'936 fr. de rente AI et un montant 23'985 fr. de rente LPP et, s'agissant de l'épouse, un revenu d'activité lucrative dépendante de 47'331 francs. Après déductions, le revenu imposable déclaré du couple s'élevait à 52'530 francs.
B.
Par décision de taxation du 19 avril 2018, le Service des contributions du canton de Fribourg (ci-après: le Service cantonal) a fixé le revenu imposable des époux A._ pour la période fiscale 2016 à 143'012 fr. pour l'impôt cantonal (revenu déterminant pour le taux: 87'378 fr.) et à 153'352 fr. pour l'impôt fédéral direct (revenu déterminant pour le taux : 97'718 fr.). Concernant l'époux, le Service cantonal a ajouté aux montants déclarés les montants en capital perçus en 2016 au titre d'arriérés de rentes AI et LPP. Quant à l'épouse, le Service cantonal s'est fondé sur ses deux certificats de salaire pour établir son revenu d'activité lucrative dépendante à 58'302 francs.
A._ a formé réclamation contre cette décision de taxation, faisant valoir que les montants d'AI et de LPP perçus à titre rétroactif n'étaient pas imposables en 2016, puisqu'il s'agissait d'arriérés dus pour les années 2011 à 2015. Pour le même motif, l'arriéré d'allocations familiales que son épouse avait perçu en 2016 n'était pas imposable non plus en 2016.
Par décision sur réclamation du 5 novembre 2019, le Service cantonal a confirmé que les versements de l'employeur et les arriérés de rentes étaient imposables au moment de leur paiement, soit en 2016. Il a par ailleurs procédé à une reformatio in pejus en ajoutant au revenu imposable du couple l'une des rentes complémentaires pour enfant, qui avait été omise dans la décision de taxation. Il en découlait désormais un revenu imposable de 149'624 fr. pour l'impôt cantonal et de 159'964 fr. pour l'impôt fédéral direct. Le revenu déterminant pour le taux de l'impôt cantonal s'élevait à 91'719 fr. et le revenu déterminant pour le taux de l'impôt fédéral direct à 102'059 francs.
A._ a contesté cette décision sur réclamation devant le Tribunal cantonal, Cour fiscale, du canton de Fribourg (ci-après : le Tribunal cantonal), persistant à soutenir le caractère non imposable en 2016 des arriérés de rentes AI et LPP, ainsi que des arriérés d'allocations familiales que son épouse avait perçus en 2016 pour les mois de mars 2014 à décembre 2015.
Dans son arrêt du 9 mars 2020, le Tribunal cantonal a confirmé que les montants en capital d'AI et de LPP versés à titre rétroactif étaient imposables au moment de leur paiement, soit en 2016. Conformément au système dit du taux de la rente, le taux de l'impôt devait être fixé comme si le contribuable avait perçu des prestations mensuelles AI et LPP, ce dont le Service cantonal avait dûment tenu compte. Le Tribunal cantonal a aussi confirmé que l'entier des allocations familiales versées à l'épouse de A._ était imposable en 2016, indépendamment du point de savoir si une part correspondait, comme l'alléguait le recourant, à un versement d'arriérés d'allocations familiales dues pour des années antérieures. Il a en revanche mis en évidence une erreur du Service cantonal, qui avait compté à tort à double les rentes AI de janvier à août 2016 dans le revenu imposable (code 3.110 de la décision de taxation définitive). Par conséquent, il a partiellement admis le recours, tant pour l'impôt fédéral direct que pour l'impôt cantonal, modifié la décision sur réclamation du 5 novembre 2019 s'agissant du revenu sous code 3.110 et a rejeté le recours pour le surplus.
C.
Agissant en personne, A._ a adressé un courrier au Tribunal fédéral, dans lequel il déclare être en désaccord avec l'arrêt du 9 mars 2020 du Tribunal cantonal. Il fait en substance valoir que les arriérés de rentes AI, LPP et d'allocations familiales qui ont été versés au couple en 2016 ne sont pas imposables en 2016, dans la mesure où il s'agit d'arriérés de prestations dues pour les années 2011 à 2015.
Le Tribunal fédéral a renoncé à exiger une avance de frais et a informé le recourant qu'il statuerait ultérieurement sur l'octroi de l'assistance judiciaire demandée par A._.
Le Tribunal cantonal, le Service cantonal et l'Administration fédérale des contributions se réfèrent à l'arrêt attaqué et concluent au rejet du recours.

Considérant en droit :
1.
1.1. Le recourant n'a pas qualifié son courrier au Tribunal fédéral. Cette imprécision ne saurait lui nuire, pour autant que l'acte remplisse les exigences légales de la voie de droit qui est ouverte (cf. <ref-ruling> consid. 1.1 p. 370).
1.2. La décision attaquée est une décision finale (<ref-law>) qui a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), la cause ne tombant pas sous le coup des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc ouverte.
1.3. Le recours a été déposé en temps utile (<ref-law>) par le destinataire de l'acte attaqué, qui a qualité pour recourir (cf. <ref-law>). Le recourant n'a pas formellement pris de conclusions, mais on comprend clairement de son courrier qu'il conteste l'arrêt attaqué en tant qu'il a ajouté aux revenus imposables du couple pour la période fiscale 2016 des montants en capital perçus au titre d'arriérés de prestations périodiques. Le recourant agissant en personne, il convient de ne pas se montrer trop formaliste et d'entrer en matière sur le recours.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard à l'exigence de motivation contenue à l'<ref-law>, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui pourraient se poser, mais uniquement celles qui sont soulevées devant lui, sauf en présence d'une violation du droit évidente (<ref-ruling> consid. 1.7.1 p. 106; <ref-ruling> consid. 2 p. 116; <ref-ruling> consid. 1.6 p. 280).
3.
3.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LT), sous réserve des situations visées à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377).
3.2. En l'espèce, le recourant allègue des faits qui ne sont pas constatés dans l'arrêt attaqué, sans invoquer ni a fortiori démontrer que les conditions qui viennent d'être rappelées sont remplies. Le Tribunal fédéral n'en tiendra donc pas compte et statuera sur la seule base des faits ressortant de l'arrêt attaqué.
4.
Le litige concerne l'imposition sur le revenu du recourant et de son épouse en matière d'impôt cantonal et d'impôt fédéral direct pour la période fiscale 2016. Le recourant conteste que les arriérés de rentes AI, LPP et d'allocations familiales que les époux ont perçus en 2016 soient imposables en 2016, dès lors que ces arriérés concernent les années 2011 à 2015.
I. Impôt fédéral direct
5.
5.1. L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (<ref-law>). Sont en particulier imposables les allocations familiales (cf. <ref-law>; arrêt 2C_436/2010 du 16 septembre 2010 consid. 5.1.1), les revenus provenant de l'assurance-invalidité (AI), et ceux provenant d'institutions de prévoyance professionnelle (LPP) (<ref-law>). Selon la jurisprudence, les rentes AVS/AI doivent être déclarées par les personnes qui en sont les ayants droit immédiats et sont imposables dans le chef de ces personnes. Cela vaut également lorsque la rente est perçue pour un enfant adulte, auquel elle est versée directement (arrêts 2C_436/2010 du 16 septembre 2010 consid. 5.1.1; 2C_164/2007 du 17 octobre 2007 consid. 2.5).
5.2. L'impôt sur le revenu est fixé et prélevé pour chaque période fiscale (<ref-law>). La période fiscale correspond à l'année civile (<ref-law>). Le revenu imposable est déterminé d'après les revenus acquis pendant la période fiscale (<ref-law>). Selon le principe de la périodicité de l'impôt sur le revenu exprimé à l'<ref-law>, un revenu est attribué à la période fiscale au cours de laquelle il a été réalisé (arrêts 2C_687/2018 du 15 février 2019 consid. 4.4; 2C_810/2017 du 16 août 2018 consid. 6.2; 2C_683/2013 du 13 février 2014 consid. 6.3).
5.3. En principe, le revenu imposable et le revenu déterminant pour le taux de l'impôt sont identiques. L'<ref-law> prévoit toutefois que, lorsque le revenu comprend des versements de capitaux remplaçant des prestations périodiques, l'impôt se calcule compte tenu des autres revenus et des déductions autorisées, au taux qui serait applicable si une prestation annuelle était servie en lieu et place de la prestation unique. L'application de l'<ref-law> ne modifie donc pas la base d'imposition, en ce sens que le versement en capital remplaçant des prestations périodiques est additionné aux autres revenus acquis durant la période fiscale. L'<ref-law> instaure un système spécial dit "du taux de la rente" pour des versements qui sont effectués en une seule fois, mais qui sont destinés à éteindre une créance relative à des prestations périodiques, le versement devant remplacer une prestation due à l'origine sous une autre forme (<ref-ruling> consid. 5.1 p. 8 s.).
Lorsque le droit aux prestations périodiques s'étend sur un nombre de mois connu, la prestation annuelle se détermine en divisant le capital versé par le nombre de mois rattrapés - y compris la part d'arriéré relative aux mois échus durant la période fiscale en cours - qui est ensuite multiplié par douze (cf. arrêts 2C_640/2010 du 11 décembre 2010 consid. 3.6; 2A.118/2006 du 4 juillet 2006 consid. 2.3).
Selon une jurisprudence établie, l'<ref-law> n'est pas seulement applicable aux versements en capital destinés à éteindre des prestations périodiques futures, mais aussi à ceux qui remplacent des prestations périodiques qui sont échues, mais qui n'ont pas été payées, indépendamment de la volonté du bénéficiaire. La ratio legis de l'<ref-law> consiste en effet à éviter que la charge fiscale afférente aux indemnités en capital versées ne soit supérieure (à cause de la progressivité des taux) à celle qui aurait été la sienne si les indemnités périodiques lui avaient été versées régulièrement, mais qui ne l'ont pas été, sans que ce dernier n'ait eu d'influence sur ces retards (<ref-ruling> consid. 5.1 p. 8 s. et les références; arrêts 2C_517/2019 du 17 juin 2019 consid. 3.3.2; 2C_486/2014 du 18 juillet 2016 consid. 3.2; 2C_415/2015 du 31 mars 2016 consid. 2.2, in StE 2016 B 26.13 Nr. 34; 2C_1179/2012 du 13 mai 2013 consid. 4.2; 2C_640/2010 du 11 décembre 2010 consid. 3.2 et les références; 2A.68/2000 du 5 octobre 2000 consid. 4b et 4c, in Archives 70 p. 210, traduit in RDAF 2002 II 1).
L'<ref-law> est applicable aux versements de rattrapage de rentes en matière d'assurances sociales, ainsi qu'aux versements en capital effectués par une caisse de pensions, destinés à rembourser des arriérés de rentes d'invalidité (cf. arrêts 2C_640/2010 du 11 décembre 2010 consid. 3.2 et les références citées; 2A.118/2006 du 4 juillet 2006 consid. 2.2, in RF 61/2006 p. 784; 2A.68/2000 du 5 octobre 2000 consid. 4c).
5.4. En l'espèce, il ressort des faits constatés qu'en 2016, le recourant a perçu, à la suite de la modification de son taux d'invalidité avec effet rétroactif au 1 er décembre 2011, des arriérés de rentes AI couvrant la période du 1 er décembre 2011 au 31 août 2016 (56 mois) et des arriérés de rentes LPP pour la période du 1 er décembre 2011 au 31 décembre 2015 (49 mois). Ces versements d'arriérés étant intervenus en 2016, c'est à bon droit que le Tribunal cantonal les a ajoutés au revenu imposable du couple pour la période fiscale 2016. Les montants d'allocations familiales que l'épouse du recourant a perçus en 2016 sont également entièrement imposables en 2016, même si une partie devait représenter, comme l'allègue le recourant, des arriérés de montants dus pour des années antérieures. C'est donc à tort que le recourant reproche au Tribunal cantonal d'avoir inclus tous les versements d'arriérés de prestations sociales dans le revenu imposable du couple pour la période fiscale 2016. L'arrêt attaqué est confirmé sur ce point.
6.
6.1. S'agissant de la détermination du taux de l'impôt, il ressort de l'arrêt attaqué que le Tribunal cantonal a procédé à une conversion en prestation annuelle des arriérés de rentes AI et de rentes LPP, de manière conforme à l'<ref-law> et à la jurisprudence.
6.2. Le Tribunal cantonal n'a en revanche pas envisagé l'application de l'<ref-law> en lien avec les éventuels versements d'arriérés d'allocations familiales, alors que le recourant a allégué devant lui qu'elles avaient été versées en 2016 pour des prestations échues pour la période de mars 2014 à décembre 2015. Les juges précédents ont expressément laissée ouverte la question de savoir si le montant de 5'476 fr. représentait un versement rétroactif d'allocations familiales, seule étant déterminant le fait que celui-ci avait été perçu en 2016 (arrêt attaqué consid. 3 p. 6).
Ce raisonnement perd de vue que les allocations familiales sont des prestations périodiques qui relèvent de la sécurité sociale (MATTHEY/MAHON, Les allocations familiales, in Soziale Sicherheit/Sécurité sociale, 3e éd. 2016 p. 1998 § 4), qui sont destinées à compenser partiellement la charge financière représentée par un ou plusieurs enfants et qui comprennent notamment les allocations pour enfant et les allocations de formation professionnelle (art. 2 et 3 al. 1 let. a et b de la loi fédérale du 24 mars 2006 sur les allocations familiales [LAFam]; RS 836.2). Le versement d'arriérés d'allocations familiales destiné à éteindre des prestations périodiques échues doit donc être pris en compte pour le taux de la rente, eu égard à la ratio legis claire de l'<ref-law> et à la jurisprudence qui vient d'être rappelée.
6.3. En l'espèce, les faits constatés dans l'arrêt attaqué ne permettent pas de déterminer si c'est à bon droit que le Tribunal cantonal n'a pas envisagé l'application du taux de la rente en lien avec d'éventuels arriérés d'allocations familiales. Il est donc nécessaire de lui renvoyer la cause pour qu'il détermine si des arriérés d'allocations familiales ont été versés en 2016 et, dans l'affirmative, si les conditions posées par la jurisprudence à l'application de l'<ref-law> et rappelées ci-dessus (consid. 5.3) sont remplies.
7.
Au vu de ce qui précède, le recours est partiellement admis s'agissant de l'impôt fédéral direct. La cause est renvoyée au Tribunal cantonal pour qu'il instruise le point de savoir si l'épouse a perçu en 2016 un arriéré d'allocations familiales pour des périodes antérieures à 2016 et pour qu'il procède, le cas échéant, à un nouveau calcul du revenu déterminant pour le taux de l'impôt fédéral direct. L'arrêt attaqué est confirmé pour le surplus.
II. Impôt cantonal
8.
Le revenu imposable se détermine d'après les revenus acquis pendant la période fiscale (art. 64 al. 1 de la loi fribourgeoise du 6 juin 2000 sur les impôts cantonaux directs [LICD]; RS/FR 631.1] et <ref-law>). Il a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (art. 17 al. 1 LICD et <ref-law>). En vertu de l'art. 38 LICD (cf. aussi <ref-law>), lorsque le revenu comprend des versements de capitaux remplaçant des prestations périodiques, l'impôt se calcule compte tenu des autres revenus et des déductions autorisées, au taux qui serait applicable si une prestation annuelle était servie en lieu et place de la prestation unique. La réglementation cantonale harmonisée étant la même que pour l'impôt fédéral direct, il peut être renvoyé à ce qui a été dit en lien avec cet impôt, qui s'applique également à l'impôt cantonal.
Il en découle que le recours est également partiellement admis s'agissant de l'impôt cantonal. La cause est renvoyée au Tribunal cantonal pour qu'il instruise le point de savoir si l'épouse a perçu en 2016 un arriéré d'allocations familiales pour des périodes antérieures à 2016 et pour qu'il procède, le cas échéant, à un nouveau calcul du revenu déterminant pour le taux de l'impôt cantonal. L'arrêt attaqué est confirmé pour le surplus.
III. Conséquences et frais
9.
Étant donné que le recourant succombe sur le grief qu'il a soulevé, à savoir le caractère imposable en 2016 de prestations perçues à titre rétroactif, et que ce grief était d'emblée dénué de chance de succès, l'assistance judiciaire, limitée aux frais, ne lui sera pas accordée (<ref-law>) et il se justifie de lui faire supporter la part principale des frais judiciaires (<ref-law>), qui seront toutefois fixés en tenant compte de sa situation financière (<ref-law>). Le solde des frais sera supporté par l'autorité intimée, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu (art. 66 al. 1 et 4 LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause au Tribunal cantonal pour qu'il statue à nouveau sur les frais et dépens de la procédure accomplie devant lui.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis s'agissant de l'impôt fédéral direct. L'arrêt attaqué est partiellement annulé s'agissant du taux de l'impôt. La cause est renvoyée au Tribunal cantonal pour instruction complémentaire dans le sens des considérants et nouvelle décision. L'arrêt attaqué est confirmé pour le surplus.
2.
Le recours est partiellement admis s'agissant de l'impôt cantonal. L'arrêt attaqué est partiellement annulé s'agissant du taux de l'impôt. La cause est renvoyée au Tribunal cantonal pour instruction complémentaire dans le sens des considérants et nouvelle décision. L'arrêt attaqué est confirmé pour le surplus.
3.
La demande d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant à raison de 1'500 fr. et à la charge du Service des contributions du canton de Fribourg à raison de 500 francs.
5.
Le présent arrêt est communiqué au recourant, au Tribunal cantonal du canton de Fribourg, Cour fiscale, au Service des contributions du canton de Fribourg et à l'Administration fédérale des contributions.
Lausanne, le 20 septembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens