Faits : A. A._ est domicilié à Fribourg avec son épouse (dont le nom ne figure pas dans l'arrêt attaqué) et leurs deux enfants, nés en 1995 et en 1997. Par décision du 23 août 2016, l'Office AI du canton de Fribourg a mis A._ au bénéfice d'une rente AI de 1'410 fr. par mois et d'une rente mensuelle complémentaire de 564 fr. pour chacun des enfants, à compter du 1 er septembre 2016. Le 13 septembre 2016, cette autorité a par ailleurs modifié le taux d'invalidité de A._ avec effet rétroactif au 1 er décembre 2011. En conséquence de cette modification, A._ a perçu en capital, en 2016, les arriérés de rentes AI et LPP dues depuis le 1 er décembre 2011. Pour l'année 2016, l'épouse de A._ a fait l'objet de deux certificats de salaire, le premier mentionnant un salaire net de 52'826 fr. et le second un salaire net de 5'476 francs. Dans leur déclaration fiscale 2016, les contribuables ont reporté, s'agissant des revenus de l'époux, un montant de 22'936 fr. de rente AI et un montant 23'985 fr. de rente LPP et, s'agissant de l'épouse, un revenu d'activité lucrative dépendante de 47'331 francs. Après déductions, le revenu imposable déclaré du couple s'élevait à 52'530 francs. B. Par décision de taxation du 19 avril 2018, le Service des contributions du canton de Fribourg (ci-après: le Service cantonal) a fixé le revenu imposable des époux A._ pour la période fiscale 2016 à 143'012 fr. pour l'impôt cantonal (revenu déterminant pour le taux: 87'378 fr.) et à 153'352 fr. pour l'impôt fédéral direct (revenu déterminant pour le taux : 97'718 fr.). Concernant l'époux, le Service cantonal a ajouté aux montants déclarés les montants en capital perçus en 2016 au titre d'arriérés de rentes AI et LPP. Quant à l'épouse, le Service cantonal s'est fondé sur ses deux certificats de salaire pour établir son revenu d'activité lucrative dépendante à 58'302 francs. A._ a formé réclamation contre cette décision de taxation, faisant valoir que les montants d'AI et de LPP perçus à titre rétroactif n'étaient pas imposables en 2016, puisqu'il s'agissait d'arriérés dus pour les années 2011 à 2015. Pour le même motif, l'arriéré d'allocations familiales que son épouse avait perçu en 2016 n'était pas imposable non plus en 2016. Par décision sur réclamation du 5 novembre 2019, le Service cantonal a confirmé que les versements de l'employeur et les arriérés de rentes étaient imposables au moment de leur paiement, soit en 2016. Il a par ailleurs procédé à une reformatio in pejus en ajoutant au revenu imposable du couple l'une des rentes complémentaires pour enfant, qui avait été omise dans la décision de taxation. Il en découlait désormais un revenu imposable de 149'624 fr. pour l'impôt cantonal et de 159'964 fr. pour l'impôt fédéral direct. Le revenu déterminant pour le taux de l'impôt cantonal s'élevait à 91'719 fr. et le revenu déterminant pour le taux de l'impôt fédéral direct à 102'059 francs. A._ a contesté cette décision sur réclamation devant le Tribunal cantonal, Cour fiscale, du canton de Fribourg (ci-après : le Tribunal cantonal), persistant à soutenir le caractère non imposable en 2016 des arriérés de rentes AI et LPP, ainsi que des arriérés d'allocations familiales que son épouse avait perçus en 2016 pour les mois de mars 2014 à décembre 2015. Dans son arrêt du 9 mars 2020, le Tribunal cantonal a confirmé que les montants en capital d'AI et de LPP versés à titre rétroactif étaient imposables au moment de leur paiement, soit en 2016. Conformément au système dit du taux de la rente, le taux de l'impôt devait être fixé comme si le contribuable avait perçu des prestations mensuelles AI et LPP, ce dont le Service cantonal avait dûment tenu compte. Le Tribunal cantonal a aussi confirmé que l'entier des allocations familiales versées à l'épouse de A._ était imposable en 2016, indépendamment du point de savoir si une part correspondait, comme l'alléguait le recourant, à un versement d'arriérés d'allocations familiales dues pour des années antérieures. Il a en revanche mis en évidence une erreur du Service cantonal, qui avait compté à tort à double les rentes AI de janvier à août 2016 dans le revenu imposable (code 3.110 de la décision de taxation définitive). Par conséquent, il a partiellement admis le recours, tant pour l'impôt fédéral direct que pour l'impôt cantonal, modifié la décision sur réclamation du 5 novembre 2019 s'agissant du revenu sous code 3.110 et a rejeté le recours pour le surplus. C. Agissant en personne, A._ a adressé un courrier au Tribunal fédéral, dans lequel il déclare être en désaccord avec l'arrêt du 9 mars 2020 du Tribunal cantonal. Il fait en substance valoir que les arriérés de rentes AI, LPP et d'allocations familiales qui ont été versés au couple en 2016 ne sont pas imposables en 2016, dans la mesure où il s'agit d'arriérés de prestations dues pour les années 2011 à 2015. Le Tribunal fédéral a renoncé à exiger une avance de frais et a informé le recourant qu'il statuerait ultérieurement sur l'octroi de l'assistance judiciaire demandée par A._. Le Tribunal cantonal, le Service cantonal et l'Administration fédérale des contributions se réfèrent à l'arrêt attaqué et concluent au rejet du recours.