Faits: Faits: A. A._, née le 11 juin 1978, P._ et C._ ont constitué sous la raison sociale Y._ et Cie, à M._, une société en nom collectif qui a commencé le 1er décembre 1997. En sa qualité de personne exerçant une activité lucrative indépendante, A._ était affiliée à la Caisse de compensation du canton de Fribourg. Par trois décisions du 27 juin 2003 qui complétaient des décisions de cotisations du 27 mars 1998 en ce qui concerne 1997, 1998 et 1999, et par une autre décision du 27 juin 2003 qui remplaçait celle du 25 janvier 2000 en ce qui concerne janvier à septembre 2000, la caisse a fixé les différences de cotisations à 41 fr. 85 pour 1997, 538 fr. 80 pour 1998 et 523 fr. 20 pour 1999 et les cotisations à verser pour la période de janvier à septembre 2000 à 703 fr. 80. Le 3 septembre 2000, A._ a perdu la vie dans un accident de la circulation. Les quatre décisions du 27 juin 2003 ont été communiquées aux héritiers de la défunte le 24 septembre 2003. Agissant en leur nom, la fiduciaire F._ SA a formé réclamation contre ces décisions. Par décision du 2 décembre 2003, notifiée aux héritiers de A._ le 3 décembre 2003, la caisse a accepté la réclamation en ce qui concerne 1997, mais l'a rejetée en ce qui concerne les années 1998 à 2000. Dans une lettre datée du 18 janvier 2004, remise à un bureau de poste le 20 janvier 2004, P._, père de la défunte, produisant le décompte de la caisse du 18 décembre 2003 réclamant 1'466 fr. 10 de cotisations personnelles en ce qui concerne feue A._, a invité la caisse à «oublier cette facture». Dans une lettre datée du 18 janvier 2004, remise à un bureau de poste le 20 janvier 2004, P._, père de la défunte, produisant le décompte de la caisse du 18 décembre 2003 réclamant 1'466 fr. 10 de cotisations personnelles en ce qui concerne feue A._, a invité la caisse à «oublier cette facture». B. La caisse a transmis la lettre de P._ à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg, comme objet de sa compétence. Par jugement du 20 avril 2004, le Président de la Cour des assurances sociales du Tribunal administratif a déclaré «l'intervention» du 20 janvier 2004 irrecevable en tant que recours en raison de sa tardiveté. Par jugement du 20 avril 2004, le Président de la Cour des assurances sociales du Tribunal administratif a déclaré «l'intervention» du 20 janvier 2004 irrecevable en tant que recours en raison de sa tardiveté. C. P._ interjette recours de droit administratif contre ce jugement, en concluant à ce que la juridiction cantonale entre en matière sur son recours et à l'annulation du solde de cotisations AVS de 1'466 fr. 10. La Caisse de compensation du canton de Fribourg s'en remet à justice. L'Office fédéral des assurances sociales a renoncé à présenter des déterminations.