Sachverhalt:
Sachverhalt:
A. Der am 21. November 1988 geborene S._ (vormals: N._) ist der leibliche Sohn von A._, geborene N._. Am 13. März 1994 verstarb M._, Ehemann von der Mutter und sein Pflegevater, worauf ihm die Schweizerische Alters- und Hinterlassenenversicherung (AHV) eine ordentliche einfache Waisenrente (Vaterwaise) ausrichtete. Am 16. Februar 2001 verstarb auch A._. In der Folge wurde der Versicherte am 17. August 2001 von der Schwester seiner Mutter, E._ in Kenia, dem damaligen Wohnort des Versicherten, adoptiert. Mit je separaten Verfügungen vom 28. November 2002 sprach die Sozialversicherungsanstalt des Kantons St. Gallen (SVA) S._ für die Monate März bis August 2001 plafonierte Waisenrenten von Fr. 662.- (Vaterwaise) und Fr. 518.- (Mutterwaise) zu. Die Terminierung wurde damit begründet, dass der Anspruch auf beide Waisenrenten mit der Adoption von S._ durch E._ erlösche. Während laufender Rechtsmittelfrist gelangte der Rechtsvertreter von S._ am 19. Dezember 2002 an die SVA und ersuchte um Überprüfung der Verfügungen. Korrekterweise dürfe nur die Mutterwaisenrente terminiert werden, da der Betroffene nur von einem Elternteil adoptiert worden sei. Die Verwaltung teilte ihm am 14. April 2003 mit, dass sie an ihren Verfügungen vom 28. November 2002 festhalte.
A. Der am 21. November 1988 geborene S._ (vormals: N._) ist der leibliche Sohn von A._, geborene N._. Am 13. März 1994 verstarb M._, Ehemann von der Mutter und sein Pflegevater, worauf ihm die Schweizerische Alters- und Hinterlassenenversicherung (AHV) eine ordentliche einfache Waisenrente (Vaterwaise) ausrichtete. Am 16. Februar 2001 verstarb auch A._. In der Folge wurde der Versicherte am 17. August 2001 von der Schwester seiner Mutter, E._ in Kenia, dem damaligen Wohnort des Versicherten, adoptiert. Mit je separaten Verfügungen vom 28. November 2002 sprach die Sozialversicherungsanstalt des Kantons St. Gallen (SVA) S._ für die Monate März bis August 2001 plafonierte Waisenrenten von Fr. 662.- (Vaterwaise) und Fr. 518.- (Mutterwaise) zu. Die Terminierung wurde damit begründet, dass der Anspruch auf beide Waisenrenten mit der Adoption von S._ durch E._ erlösche. Während laufender Rechtsmittelfrist gelangte der Rechtsvertreter von S._ am 19. Dezember 2002 an die SVA und ersuchte um Überprüfung der Verfügungen. Korrekterweise dürfe nur die Mutterwaisenrente terminiert werden, da der Betroffene nur von einem Elternteil adoptiert worden sei. Die Verwaltung teilte ihm am 14. April 2003 mit, dass sie an ihren Verfügungen vom 28. November 2002 festhalte.
B. Auf die gegen das Schreiben vom 14. April 2003 erhobene Beschwerde trat das Versicherungsgericht des Kantons St. Gallen nicht ein (Entscheid vom 23. Januar 2004).
B. Auf die gegen das Schreiben vom 14. April 2003 erhobene Beschwerde trat das Versicherungsgericht des Kantons St. Gallen nicht ein (Entscheid vom 23. Januar 2004).
C. S._ lässt Verwaltungsgerichtsbeschwerde führen und sinngemäss beantragen, der vorinstanzliche Entscheid sei aufzuheben und seine vor dem kantonalen Gericht gestellten Anträge seien zu schützen. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit diese einen materiellen Entscheid fälle.
Die SVA St. Gallen schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1.2 Im verwaltungsgerichtlichen Beschwerdeverfahren sind grundsätzlich nur Rechtsverhältnisse zu überprüfen bzw. zu beurteilen, zu denen die zuständige Verwaltungsbehörde vorgängig verbindlich - in Form einer Verfügung - Stellung genommen hat. Insoweit bestimmt die Verfügung den beschwerdeweise weiterziehbaren Anfechtungsgegenstand. Umgekehrt fehlt es an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, wenn und insoweit keine Verfügung ergangen ist (<ref-ruling> Erw. 2.1, 125 V 414 Erw. 1a, 119 Ib 36 Erw. 1b, je mit Hinweisen).
1.2 Im verwaltungsgerichtlichen Beschwerdeverfahren sind grundsätzlich nur Rechtsverhältnisse zu überprüfen bzw. zu beurteilen, zu denen die zuständige Verwaltungsbehörde vorgängig verbindlich - in Form einer Verfügung - Stellung genommen hat. Insoweit bestimmt die Verfügung den beschwerdeweise weiterziehbaren Anfechtungsgegenstand. Umgekehrt fehlt es an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, wenn und insoweit keine Verfügung ergangen ist (<ref-ruling> Erw. 2.1, 125 V 414 Erw. 1a, 119 Ib 36 Erw. 1b, je mit Hinweisen).
2. Das kantonale Gericht ist mit der Begründung, einerseits handle es sich beim Schreiben der SVA vom 14. April 2003 nicht um eine anfechtbare Verfügung und andererseits sei die Frist zur Anfechtung der Verfügung vom 28. November 2002 nicht eingehalten worden, nicht auf die Beschwerde eingetreten.
Der Beschwerdeführer stellt sich auf den Standpunkt, er habe mit Schreiben vom 19. Dezember 2002 um Wiedererwägung der Verfügung betreffend Vaterwaisenrente vom 28. November 2002 ersucht. Mit Schreiben vom 14. April 2003 sei die Verwaltung auf dieses Ersuchen eingetreten, habe indessen wiederum einen gleichlautenden ablehnenden Sachentscheid gefällt. Dieser sei seinerseits mittels Beschwerde vor dem kantonalen Gericht anfechtbar. Falls dieser Rechtsauffassung nicht gefolgt werden könne, sei die Eingabe vom 19. Dezember 2002 als Einsprache gegen die Verfügung zu interpretieren. Falls man zur Ansicht gelange, das ATSG sei nicht anwendbar, hätte das Schreiben als Beschwerde an das zuständige Versicherungsgericht weitergeleitet werden müssen.
Der Beschwerdeführer stellt sich auf den Standpunkt, er habe mit Schreiben vom 19. Dezember 2002 um Wiedererwägung der Verfügung betreffend Vaterwaisenrente vom 28. November 2002 ersucht. Mit Schreiben vom 14. April 2003 sei die Verwaltung auf dieses Ersuchen eingetreten, habe indessen wiederum einen gleichlautenden ablehnenden Sachentscheid gefällt. Dieser sei seinerseits mittels Beschwerde vor dem kantonalen Gericht anfechtbar. Falls dieser Rechtsauffassung nicht gefolgt werden könne, sei die Eingabe vom 19. Dezember 2002 als Einsprache gegen die Verfügung zu interpretieren. Falls man zur Ansicht gelange, das ATSG sei nicht anwendbar, hätte das Schreiben als Beschwerde an das zuständige Versicherungsgericht weitergeleitet werden müssen.
3. Vorliegend ist einzig darüber zu entscheiden, ob die Vorinstanz zu Recht auf die Beschwerde nicht eingetreten ist. Dagegen kann auf die in der Verwaltungsgerichtsbeschwerde erneuerten materiellen Anträge nicht eingetreten werden (<ref-ruling> Erw. 1).
3.1 Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Gemäss <ref-law> kann gegen Verfügungen innerhalb von 30 Tagen bei der verfügenden Stelle Einsprache erhoben werden. Nach der Rechtsprechung sind neue Verfahrensvorschriften mangels anders lautender Übergangsbestimmungen mit dem Tag des In-Kraft-Tretens sofort und in vollem Umfang anwendbar (RKUV 1998 Nr. KV 37 S. 316 Erw. 3b mit Hinweisen). Die allgemeinen Verfahrensbestimmungen des 4. Kapitels des ATSG (Art. 27-62) treten somit grundsätzlich sofort in Kraft. Soweit allerdings eine Frist im Zeitpunkt des In-Kraft-Tretens des Gesetzes noch nicht abgelaufen ist, richten sich der Fristenlauf und die allfällige Rechtsmittelinstanz nach dem bisherigen Recht (<ref-ruling> Erw. 3.2; so auch <ref-law> vgl. auch Urteil S. vom 28. Mai 2003, U 255/01; Kieser, ATSG-Kommentar, Art. 82 Rz. 8).
3.2 Die Verfügung vom 28. November 2002, mit welcher unter anderem der Anspruch auf eine Vaterwaisenrente des Beschwerdeführers auf Ende August 2001 terminiert wurde, ging diesem frühestens am Freitag, 29. November 2002 zu, sodass die 30-tägige Anfechtungsfrist unter Berücksichtigung der Gerichtsferien frühestens am 13. Januar 2003 endete. Wie in der Rechtsmittelbelehrung der erwähnten Verfügung richtig angegeben, hätte dagegen beim zuständigen kantonalen Gericht Beschwerde erhoben werden können, da die formellen Vorschriften des ATSG, welche unter anderem das Einspracheverfahren für Streitigkeiten im Bereiche der AHV vorsehen, für die am 28. November 2002 erlassene Verfügung noch keine Anwendung fanden. Damit konnte das Schreiben vom 19. Dezember 2002 nicht als Einsprache gegen die erwähnte Verfügung entgegengenommen und behandelt werden.
3.2 Die Verfügung vom 28. November 2002, mit welcher unter anderem der Anspruch auf eine Vaterwaisenrente des Beschwerdeführers auf Ende August 2001 terminiert wurde, ging diesem frühestens am Freitag, 29. November 2002 zu, sodass die 30-tägige Anfechtungsfrist unter Berücksichtigung der Gerichtsferien frühestens am 13. Januar 2003 endete. Wie in der Rechtsmittelbelehrung der erwähnten Verfügung richtig angegeben, hätte dagegen beim zuständigen kantonalen Gericht Beschwerde erhoben werden können, da die formellen Vorschriften des ATSG, welche unter anderem das Einspracheverfahren für Streitigkeiten im Bereiche der AHV vorsehen, für die am 28. November 2002 erlassene Verfügung noch keine Anwendung fanden. Damit konnte das Schreiben vom 19. Dezember 2002 nicht als Einsprache gegen die erwähnte Verfügung entgegengenommen und behandelt werden.
4. 4.1 Die Eingabe vom 19. Dezember 2002 erfolgte unbestrittenermassen innerhalb der Anfechtungsfrist der Verfügung vom 28. November 2002. Der Beschwerdeführer argumentiert, dass sie - wenn davon ausgegangen wurde, dass kein Einspracheentscheid zu fällen war - in Anwendung von Art. 30 des sankt gallischen Gesetzes über die Verwaltungsrechtspflege in Verbindung mit Art. 84 Abs. 3 des sankt gallischen Gerichtsgesetzes als Beschwerde hätte an das Versicherungsgericht weitergeleitet werden müssen.
Im besagten Schreiben wurde was folgt ausgeführt:
Die Verfügungen "stellen das Erlöschen des Anspruchs auf die Waisenrente zufolge Adoption fest. Ich ersuche Sie, dies nochmals zu überprüfen. Tatsache ist doch, dass S._ sowohl den (Pflege-)Vater als auch die leibliche Mutter durch Tod verloren hat. Zwar trifft es zu, dass er inzwischen, per Ende August 2001, durch seine Tante, Frau B._, adoptiert worden ist. Damit ist ihm aber nur ein Elternteil ersetzt. Korrekterweise dürfte also nur eine Rente erlöschen. Wollen Sie dies bitte in Wiedererwägung ziehen und mir möglichst rasch das Ergebnis mitteilen, da ja eine Rechtsmittelfrist läuft."
Es folgen weitere materielle Argumente.
4.2 Der Vorinstanz ist weder eine Verletzung von Bundesrecht noch ein Überschreiten oder ein Missbrauch des Ermessens oder eine offensichtlich unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhaltes (vgl. Erwägung 1.1 hievor) vorzuwerfen, wenn sie das Schreiben vom 19. Dezember 2002 nicht als - an die richtige Instanz weiterzuleitende - Beschwerde interpretiert hat. Den Worten "Wiedererwägungsgesuch" und "es läuft eine Rechtsmittelfrist" ist klar zu entnehmen, dass der rechtskundige Verfasser des Schreibens nicht der Ansicht war, dieses stelle selbst ein Rechtsmittel dar. Ebenso wenig hat er irgendeinen Vorbehalt angebracht oder die Adressatin darum ersucht, das Begehren als Beschwerde weiterzuleiten, falls auf das Wiedererwägungsgesuch nicht eingetreten werde. Insbesondere durfte der durch einen Rechtsanwalt vertretene Beschwerdeführer die Rechtsmittelfrist nicht einfach in der Hoffnung verstreichen lassen, sein Wiedererwägungsgesuch werde gutgeheissen. Dank dem Fristenstillstand über die Weihnachtsfeiertage blieb ihm auch nach dem Jahreswechsel noch genügend Zeit, sich darüber zu erkundigen, ob die Verfügung zurückgenommen oder ob seine Eingabe als Einsprache behandelt werde. Als ihm Anfang Januar 2003 noch keine Antwort auf sein Wiedererwägungsgesuch mit der erhofften raschen Korrektur zugegangen war, hätte der Beschwerdeführer vorsorglich mit einer kurz begründeten Beschwerde an das zuständige Versicherungsgericht gelangen und so die Ausgleichskasse zu einer Antwort zwingen können. Dabei gilt es zu berücksichtigen, dass der Zweck von - nicht erstreckbaren - Rechtsmittelfristen darin liegt, für alle Parteien Rechtssicherheit zu schaffen. Müsste sofort auf Wiedererwägungsgesuche geantwortet werden, hätten diese Fristen keinen Sinn mehr. Es besteht vorliegend kein Anlass, von der vorinstanzlichen Interpretation abzuweichen. Die Verfügung vom 28. November 2002 ist damit in formelle Rechtskraft erwachsen.
4.2 Der Vorinstanz ist weder eine Verletzung von Bundesrecht noch ein Überschreiten oder ein Missbrauch des Ermessens oder eine offensichtlich unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhaltes (vgl. Erwägung 1.1 hievor) vorzuwerfen, wenn sie das Schreiben vom 19. Dezember 2002 nicht als - an die richtige Instanz weiterzuleitende - Beschwerde interpretiert hat. Den Worten "Wiedererwägungsgesuch" und "es läuft eine Rechtsmittelfrist" ist klar zu entnehmen, dass der rechtskundige Verfasser des Schreibens nicht der Ansicht war, dieses stelle selbst ein Rechtsmittel dar. Ebenso wenig hat er irgendeinen Vorbehalt angebracht oder die Adressatin darum ersucht, das Begehren als Beschwerde weiterzuleiten, falls auf das Wiedererwägungsgesuch nicht eingetreten werde. Insbesondere durfte der durch einen Rechtsanwalt vertretene Beschwerdeführer die Rechtsmittelfrist nicht einfach in der Hoffnung verstreichen lassen, sein Wiedererwägungsgesuch werde gutgeheissen. Dank dem Fristenstillstand über die Weihnachtsfeiertage blieb ihm auch nach dem Jahreswechsel noch genügend Zeit, sich darüber zu erkundigen, ob die Verfügung zurückgenommen oder ob seine Eingabe als Einsprache behandelt werde. Als ihm Anfang Januar 2003 noch keine Antwort auf sein Wiedererwägungsgesuch mit der erhofften raschen Korrektur zugegangen war, hätte der Beschwerdeführer vorsorglich mit einer kurz begründeten Beschwerde an das zuständige Versicherungsgericht gelangen und so die Ausgleichskasse zu einer Antwort zwingen können. Dabei gilt es zu berücksichtigen, dass der Zweck von - nicht erstreckbaren - Rechtsmittelfristen darin liegt, für alle Parteien Rechtssicherheit zu schaffen. Müsste sofort auf Wiedererwägungsgesuche geantwortet werden, hätten diese Fristen keinen Sinn mehr. Es besteht vorliegend kein Anlass, von der vorinstanzlichen Interpretation abzuweichen. Die Verfügung vom 28. November 2002 ist damit in formelle Rechtskraft erwachsen.
5. Somit bleibt schliesslich zu entscheiden, ob das Schreiben der SVA vom 14. April 2003 mit dem Wortlaut:
"Aufgrund Ihres Schreibens vom 19. Dezember 2002 haben wir unseren Entscheid überprüft. Diese Prüfung hat ergeben, dass wir an unserem Entscheid bzw. an unseren Verfügungen vom 28. November 2002 festhalten.",
eine eigene anfechtbare Verfügung darstellt.
5.1 Gemäss <ref-law> kann ein Versicherungsträger auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist. Diese Bestimmung wurde in Anlehnung an die bis zum Inkrafttreten des ATSG von der Rechtsprechung entwickelten Kriterien erlassen. Dabei wird das Zurückkommen auf formell rechtskräftige Verfügungen oder Einspracheentscheide beim Fehlen eigentlicher Revisionsgründe weiterhin in das Ermessen des Versicherungsträgers gelegt (vgl. BBl 1991 II S. 262). Die bisherige Rechtsprechung (<ref-ruling>, 117 V 12, 116 V 63 Erw. 3a), welche betont, dass ein - gerichtlich durchsetzbarer - Anspruch auf eine Wiedererwägung nicht besteht, wird damit - unbesehen der zum Teil in der Lehre geäusserten Kritik - auch unter der Herrschaft des ATSG weitergeführt (vgl. Ueli Kieser, ATSG-Kommentar, Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000, Zürich 2003, Rz 22 zu Art. 53 mit Hinweisen). Das Eidgenössische Versicherungsgericht hat in seinem Urteil vom 20. September 2006 in Sachen S. (I 61/04) entschieden, auch unter der Herrschaft des ATSG bestehe kein Anspruch auf eine Begründung eines Nichteintretens auf ein Wiedererwägungsbegehren, womit dagegen auch keine Einsprache erhoben werden könne (a.a.O. Erwägung 4.2). Da der entsprechende Nichteintretensentscheid nicht anfechtbar ist, konnte im genannten Urteil offen gelassen werden, ob es sich dabei überhaupt um eine Verfügung im Rechtssinne handelt.
Wenn die Verwaltung hingegen auf ein Wiedererwägungsgesuch eintritt, die entsprechenden Voraussetzungen prüft und anschliessend einen erneut ablehnenden Sachentscheid trifft, kann dagegen Einsprache erhoben werden. Die nachfolgende Überprüfung hat sich in einem solchen Falle indessen auf die Frage zu beschränken, ob die Voraussetzungen für eine Wiedererwägung der bestätigten Verfügung gegeben sind. Prozessthema ist also diesfalls, ob die Verwaltung zu Recht die ursprüngliche, formell rechtskräftige Verfügung nicht als zweifellos unrichtig und/oder ihre Korrektur als von unerheblicher Bedeutung qualifizierte (vgl. <ref-ruling> Erw. 2b).
5.2 Der Beschwerdeführer hält dafür, die Verwaltung habe ihre ursprüngliche Verfügung überprüft und am 14. April 2003 einen erneut ablehnenden Sachentscheid gefällt. Demgegenüber bringt die SVA vor, sie sei nach summarischer Prüfung der Wiedererwägungsvoraussetzungen auf das Gesuch nicht eingetreten.
Etwas anderes kann dem zitierten Schreiben vom 14. April 2003 denn auch tatsächlich nicht entnommen werden. Die Verwaltung hat sich nicht auf die beschwerdeführerische Argumentation eingelassen. Es gibt in den Akten keinen Anhaltspunkt für eine erneute materielle Prüfung des (Vaterwaisen-)Rentenanspruches durch die SVA. Sie hat sich darin nicht mit den Argumenten des Beschwerdeführers auseinandergesetzt. Im kantonalen Entscheid wird denn auch verbindlich (Erwägung 1.1) erkannt, dass weder aus dem Wortlaut, noch aus der äusseren Form der Mitteilung vom 14. April 2003 auf eine materielle Prüfung der ursprünglichen Verfügung geschlossen werden kann.
Daran kann auch das Argument nichts ändern, die verfügende Instanz sei - sozusagen als Gegengewicht zu <ref-law> - gehalten, auf ein Wiedererwägungsgesuch einzutreten, welches während einer laufenden Rechtsmittelfrist gestellt werde. Bei zweifelloser Unrichtigkeit einer Verfügung hat ein Betroffener im eigenen Interesse ein Rechtsmittel zu ergreifen und nicht unverbindlich um Wiedererwägung zu ersuchen. Ein solches Gesuch hat keinen Einfluss auf die Rechtsmittelfrist. Das wäre indessen der Fall, wenn die Verwaltung eintreten und obligatorisch einen neuen - eventuell gleichlautenden - Sachentscheid treffen müsste, der seinerseits eine neue Rechtsmittelfrist auslöst. Damit würde das "Wiedererwägungsgesuch" faktisch zur Fristerstreckung einer gesetzlichen Rechtsmittelfrist, was offensichtlich unzulässig ist.
Zusammenfassend ist das kantonale Gericht zu Recht nicht auf die Beschwerde eingetreten.
Zusammenfassend ist das kantonale Gericht zu Recht nicht auf die Beschwerde eingetreten.
6. Da im vorliegenden Verfahren nicht die Bewilligung oder Verweigerung von Versicherungsleistungen streitig war, fällt es nicht unter die Kostenfreiheit gemäss Art. 134 OG. Entsprechend dem Verfahrensausgang werden die Gerichtskosten dem Beschwerdeführer auferlegt (Art. 135 in Verbindung mit Art. 156 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 13. November 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer: Die Gerichtsschreiberin: