Faits:
Faits:
A. A._, née le 11 juin 1978, P._ et C._ ont constitué sous la raison sociale Y._ et Cie, à M._, une société en nom collectif qui a commencé le 1er décembre 1997. En sa qualité de personne exerçant une activité lucrative indépendante, A._ était affiliée à la Caisse de compensation du canton de Fribourg.
Par trois décisions du 27 juin 2003 qui complétaient des décisions de cotisations du 27 mars 1998 en ce qui concerne 1997, 1998 et 1999, et par une autre décision du 27 juin 2003 qui remplaçait celle du 25 janvier 2000 en ce qui concerne janvier à septembre 2000, la caisse a fixé les différences de cotisations à 41 fr. 85 pour 1997, 538 fr. 80 pour 1998 et 523 fr. 20 pour 1999 et les cotisations à verser pour la période de janvier à septembre 2000 à 703 fr. 80.
Le 3 septembre 2000, A._ a perdu la vie dans un accident de la circulation.
Les quatre décisions du 27 juin 2003 ont été communiquées aux héritiers de la défunte le 24 septembre 2003. Agissant en leur nom, la fiduciaire F._ SA a formé réclamation contre ces décisions.
Par décision du 2 décembre 2003, notifiée aux héritiers de A._ le 3 décembre 2003, la caisse a accepté la réclamation en ce qui concerne 1997, mais l'a rejetée en ce qui concerne les années 1998 à 2000.
Dans une lettre datée du 18 janvier 2004, remise à un bureau de poste le 20 janvier 2004, P._, père de la défunte, produisant le décompte de la caisse du 18 décembre 2003 réclamant 1'466 fr. 10 de cotisations personnelles en ce qui concerne feue A._, a invité la caisse à «oublier cette facture».
Dans une lettre datée du 18 janvier 2004, remise à un bureau de poste le 20 janvier 2004, P._, père de la défunte, produisant le décompte de la caisse du 18 décembre 2003 réclamant 1'466 fr. 10 de cotisations personnelles en ce qui concerne feue A._, a invité la caisse à «oublier cette facture».
B. La caisse a transmis la lettre de P._ à la Cour des assurances sociales du Tribunal administratif du canton de Fribourg, comme objet de sa compétence.
Par jugement du 20 avril 2004, le Président de la Cour des assurances sociales du Tribunal administratif a déclaré «l'intervention» du 20 janvier 2004 irrecevable en tant que recours en raison de sa tardiveté.
Par jugement du 20 avril 2004, le Président de la Cour des assurances sociales du Tribunal administratif a déclaré «l'intervention» du 20 janvier 2004 irrecevable en tant que recours en raison de sa tardiveté.
C. P._ interjette recours de droit administratif contre ce jugement, en concluant à ce que la juridiction cantonale entre en matière sur son recours et à l'annulation du solde de cotisations AVS de 1'466 fr. 10.
La Caisse de compensation du canton de Fribourg s'en remet à justice. L'Office fédéral des assurances sociales a renoncé à présenter des déterminations.

Considérant en droit:
Considérant en droit:
1. 1.1 Le jugement attaqué est un prononcé d'irrecevabilité. C'est pourquoi les conclusions du recourant tendant à l'annulation du solde de cotisations AVS ne sont pas recevables, le Tribunal fédéral des assurances devant se limiter à examiner si la juridiction cantonale était fondée à refuser d'entrer en matière sur le recours dont elle était saisie.
1.2 La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si le premier juge a violé le droit fédéral, y compris par l'excès ou par l'abus de son pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
1.2 La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si le premier juge a violé le droit fédéral, y compris par l'excès ou par l'abus de son pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2. 2.1 Les dispositions de la loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000, en vigueur depuis le 1er janvier 2003 (LPGA), sont applicables aux assurances sociales régies par la législation fédérale, si et dans la mesure où les lois spéciales sur les assurances sociales le prévoient (art. 2 LPGA).
Le nouveau chapitre 1 de la première partie de la LAVS a été introduit dans la loi par le ch. 7 de l'annexe à la novelle du 6 octobre 2000, en vigueur depuis le 1er janvier 2003. Il règle l'applicabilité de la LPGA, en ce qui concerne la première partie de la LAVS, soit l'assurance. Selon l'art. 1 al. 1 LAVS, les dispositions de la LPGA s'appliquent à l'AVS réglée dans la première partie, à moins que la présente loi ne déroge expressément à la LPGA.
Le nouveau chapitre 1 de la première partie de la LAVS a été introduit dans la loi par le ch. 7 de l'annexe à la novelle du 6 octobre 2000, en vigueur depuis le 1er janvier 2003. Il règle l'applicabilité de la LPGA, en ce qui concerne la première partie de la LAVS, soit l'assurance. Selon l'art. 1 al. 1 LAVS, les dispositions de la LPGA s'appliquent à l'AVS réglée dans la première partie, à moins que la présente loi ne déroge expressément à la LPGA.
2.2 2.2.1 Les décisions sur opposition et celles contre lesquelles la voie de l'opposition n'est pas ouverte sont sujettes à recours (art. 56 al. 1 LPGA). Le recours doit être déposé dans les trente jours suivant la notification de la décision sujette à recours; les art. 38 à 41 LPGA sont applicables par analogie (art. 60 al. 1 et 2 LPGA). Si le requérant ou son mandataire a été empêché, sans faute de sa part, d'agir dans le délai fixé, le délai est restitué si la demande en est présentée avec indication du motif dans les dix jours à compter de celui où l'empêchement a cessé (art. 41 al. 1 LPGA).
La LAVS ne contient pas de dispositions dérogeant aux règles ci-dessus exposées. Celles-ci sont dès lors applicables ratione materiae.
2.2.2 Selon la jurisprudence, les nouvelles dispositions de procédure sont applicables, sauf dispositions transitoires contraires, à tous les cas en cours, dès l'entrée en vigueur du nouveau droit (<ref-ruling> consid. 2.2, 117 V 93 consid. 6b, 112 V 360 consid. 4a, et les références).
Parmi les dispositions transitoires contenues dans la LPGA, seul l'art. 82 al. 2 LPGA a trait à la procédure. Il prévoit que les cantons doivent adapter leur législation à la LPGA dans un délai de cinq ans à partir de son entrée en vigueur; dans l'intervalle, les dispositions cantonales en vigueur restent applicables. Cette disposition ne contient aucune règle allant à l'encontre du principe selon lequel les nouvelles dispositions de procédure sont applicables à tous les cas en cours, dès l'entrée en vigueur du nouveau droit. La décision administrative litigieuse et le jugement attaqué ayant été rendus après le 1er janvier 2003, les art. 56 al. 1, 60 al. 1 et 2, et 41 al. 1 LPGA sont applicables ratione temporis.
Parmi les dispositions transitoires contenues dans la LPGA, seul l'art. 82 al. 2 LPGA a trait à la procédure. Il prévoit que les cantons doivent adapter leur législation à la LPGA dans un délai de cinq ans à partir de son entrée en vigueur; dans l'intervalle, les dispositions cantonales en vigueur restent applicables. Cette disposition ne contient aucune règle allant à l'encontre du principe selon lequel les nouvelles dispositions de procédure sont applicables à tous les cas en cours, dès l'entrée en vigueur du nouveau droit. La décision administrative litigieuse et le jugement attaqué ayant été rendus après le 1er janvier 2003, les art. 56 al. 1, 60 al. 1 et 2, et 41 al. 1 LPGA sont applicables ratione temporis.
3. 3.1 P._ invoque implicitement l'interdiction du formalisme excessif. Selon lui, quand bien même le délai de recours serait dépassé d'un jour, la juridiction cantonale aurait dû entrer en matière sur son recours et non simplement le qualifier d'irrecevable en raison de sa tardiveté. Lui-même savait qu'il avait 30 jours pour recourir, mais il affirme avoir compris que si l'échéance tombait sur un samedi le délai était reporté de 2 jours, soit le samedi et le dimanche. Dans ce cas, dit-il, la date du 20 janvier, jour où il a remis son recours à la poste, aurait été valable.
3.2 Selon l'art. 38 LPGA, si le délai, compté par jours ou par mois, doit être communiqué aux parties, il commence à courir le lendemain de la communication (al. 1). Lorsque le délai échoit un samedi, un dimanche ou un jour férié du canton où la partie ou son représentant a son domicile ou son siège, son terme est reporté au premier jour ouvrable qui suit (al. 3). Les délais en jours ou en mois fixés par la loi ou par l'autorité ne courent pas du 18 décembre au 1er janvier inclusivement (al. 4 let. c).
L'art. 39 al. 1 LPGA prescrit que les écrits doivent être remis au plus tard le dernier jour du délai à l'assureur ou, à son adresse, à La Poste suisse ou à une représentation diplomatique ou consulaire suisse.
3.3 Il est établi que la décision du 2 décembre 2003, notifiée aux héritiers de feue A._, a été remise à C._ le 3 décembre 2003. Le délai de trente jours pour recourir contre cette décision a donc commencé à courir le 4 décembre 2003 (art. 38 al. 1 LPGA). Il ne courait pas du 18 décembre 2003 au 1er janvier 2004 inclusivement (art. 38 al. 4 let. c LPGA). Le délai de recours arrivant à échéance samedi 17 janvier 2004, son terme était reporté au premier jour ouvrable suivant, soit lundi 19 janvier 2004 (art. 38 al. 3 LPGA).
Il est constant que P._, par lettre datée du 18 janvier 2004 mais expédiée le 20 janvier 2004, a formé recours contre la décision de la caisse du 2 décembre 2003. Remis à La Poste suisse après le dernier jour du délai, son recours était donc tardif.
C'est en vain que P._ invoque l'interdiction du formalisme excessif. Selon la jurisprudence, les formes procédurales sont nécessaires dans la mise en oeuvre des voies de droit pour assurer le déroulement de la procédure conformément au principe de l'égalité de traitement, ainsi que pour garantir l'application du droit matériel; toutes les exigences formelles ne se trouvent donc pas en contradiction avec la prohibition du formalisme excessif (<ref-ruling> consid. 2a, 127 I 34 consid. 2a/bb, 125 I 170 consid. 3a, 118 V 315 consid. 4 et la référence). Il n'y a pas d'excès de formalisme à sanctionner la tardiveté du recours par son irrecevabilité, puisque celle-ci découle de la loi (art. 60 al. 1 LPGA a contrario).
C'est en vain que P._ invoque l'interdiction du formalisme excessif. Selon la jurisprudence, les formes procédurales sont nécessaires dans la mise en oeuvre des voies de droit pour assurer le déroulement de la procédure conformément au principe de l'égalité de traitement, ainsi que pour garantir l'application du droit matériel; toutes les exigences formelles ne se trouvent donc pas en contradiction avec la prohibition du formalisme excessif (<ref-ruling> consid. 2a, 127 I 34 consid. 2a/bb, 125 I 170 consid. 3a, 118 V 315 consid. 4 et la référence). Il n'y a pas d'excès de formalisme à sanctionner la tardiveté du recours par son irrecevabilité, puisque celle-ci découle de la loi (art. 60 al. 1 LPGA a contrario).
4. Le litige ne concernant pas l'octroi ou le refus de prestations d'assurance, la procédure n'est pas gratuite (art. 134 OJ a contrario). P._, qui succombe, supportera donc les frais de la cause (art. 156 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Dans la mesure où il est recevable, le recours est rejeté.
1. Dans la mesure où il est recevable, le recours est rejeté.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 juillet 2004
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: Le Greffier: