Faits : A. A._, né en 1979, a travaillé à temps plein en qualité de plâtrier-peintre auprès de l'entreprise B._ Sàrl. Il était à ce titre assuré obligatoirement contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 7 février 2011, il a fait une chute d'une échelle sur un chantier, qui lui a causé des fractures au poignet gauche et a entraîné une incapacité de travail. La CNA a pris en charge le cas. Dans son rapport d'examen final du 31 octobre 2014, le docteur C._, spécialiste en médecine physique et réadaptation ainsi qu'en rhumatologie et médecin d'arrondissement de la CNA, a notamment relevé que l'assuré avait repris son activité de plâtrier-peintre à 50 % et a détaillé ses limitations fonctionnelles sous l'angle de l'exigibilité d'une autre activité professionnelle. Par estimation du même jour, ce médecin a évalué le taux de l'indemnité pour atteinte à l'intégrité (IPAI) à 10 %, correspondant à une arthrose radio-carpienne moyenne. Par décision du 28 janvier 2016, l'Office de l'assurance-invalidité du canton de Fribourg a refusé à l'assuré le droit à une rente, en retenant qu'une activité adaptée à son état de santé était exigible à plein temps. Cette décision a été confirmée par jugement du 27 juin 2017 de la II e Cour des assurances sociales du Tribunal cantonal du canton de Fribourg. Par décision du 2 août 2016, la CNA, retenant notamment que l'assuré était en mesure d'exercer une activité adaptée à plein temps, lui a alloué une rente d'invalidité fondée sur un taux de 10 % et lui a octroyé une IPAI d'un montant de 12'600 fr., correspondant à un taux de 10 %. Dans le cadre de son opposition à cette décision, l'assuré, se plaignant d'une aggravation de ses douleurs et de ses limitations fonctionnelles consécutives à son accident du 7 février 2011, sans nouvel événement traumatique, a annoncé, le 12 octobre 2017, une rechute à la CNA. Par décision sur opposition du 25 septembre 2018, la CNA a confirmé sa décision du 2 août 2016. B. Saisie d'un recours contre cette décision sur opposition, la I re Cour des assurances sociales du Tribunal cantonal du canton de Fribourg l'a rejeté par jugement du 9 décembre 2019. C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme en ce sens qu'une rente d'invalidité fondée sur un taux de 55 % et une IPAI fixée sur un taux de 20 % lui soient octroyées. A titre subsidiaire, il conclut à son annulation et au renvoi de la cause à la CNA pour nouvelle décision dans le sens des considérants. La cour cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer. L'intimée a conclu au rejet du recours et le recourant a répliqué.