Sachverhalt:
Sachverhalt:
A. Der 1936 geborene J._ bezieht seit 1. Oktober 2001 eine Altersrente. Zudem sprach ihm die Sozialversicherungsanstalt des Kantons St. Gallen, Ausgleichskasse, mit Verfügungen vom 18. April 2002 rückwirkend ab 1. Oktober 2001 Ergänzungsleistungen zu. Gemäss einer Verfügung der IV-Stelle St. Gallen vom 22. November 2002 hat seine 1944 geborene Ehefrau A._ ebenfalls ab 1. Oktober 2001 Anspruch auf eine halbe Invalidenrente.
Letzteres führte zu einer Neuberechnung des Ergänzungsleistungsanspruchs mit dem Ergebnis, dass die Ausgleichskasse mit Verfügung vom 23. Januar 2003 von J._ Ergänzungsleistungen im Betrag von Fr. 10'340.- zurückforderte, welche ihm für die Zeit ab 1. Oktober 2001 bis 31. Januar 2003 zufolge unterbliebenen Einbezugs der Invalidenrente der Ehefrau in die Ergänzungsleistungsberechnung zu viel ausgerichtet worden seien. Mit dem Vorhalt einer Meldepflichtverletzung lehnte die Ausgleichskasse ein Gesuch um Erlass dieser Rückerstattungsschuld mit Verfügung vom 11. Februar 2003 mangels Gutgläubigkeit beim Leistungsbezug ab. Daran hielt die Sozialversicherungsanstalt mit Einspracheentscheid vom 14. März 2003 fest.
Letzteres führte zu einer Neuberechnung des Ergänzungsleistungsanspruchs mit dem Ergebnis, dass die Ausgleichskasse mit Verfügung vom 23. Januar 2003 von J._ Ergänzungsleistungen im Betrag von Fr. 10'340.- zurückforderte, welche ihm für die Zeit ab 1. Oktober 2001 bis 31. Januar 2003 zufolge unterbliebenen Einbezugs der Invalidenrente der Ehefrau in die Ergänzungsleistungsberechnung zu viel ausgerichtet worden seien. Mit dem Vorhalt einer Meldepflichtverletzung lehnte die Ausgleichskasse ein Gesuch um Erlass dieser Rückerstattungsschuld mit Verfügung vom 11. Februar 2003 mangels Gutgläubigkeit beim Leistungsbezug ab. Daran hielt die Sozialversicherungsanstalt mit Einspracheentscheid vom 14. März 2003 fest.
B. Eine gegen die Verweigerung des Erlasses der Rückerstattungsschuld erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 11. Dezember 2003 ab.
B. Eine gegen die Verweigerung des Erlasses der Rückerstattungsschuld erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 11. Dezember 2003 ab.
C. Mit Verwaltungsgerichtsbeschwerde und ergänzender Eingabe vom 9. Februar 2004 erneuert J._ sinngemäss sein Erlassgesuch.
Die Sozialversicherungsanstalt schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
Die Sozialversicherungsanstalt schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
D. Vom Präsidenten des Eidgenössischen Versicherungsgerichts mit Verfügung vom 12. März 2004 - unter Androhung des Nichteintretens im Unterlassungsfall - zur Bezahlung eines Kostenvorschusses von Fr. 1100.- innert 14 Tagen aufgefordert, ersucht J._ am 16. März 2004 um Gewährung der unentgeltlichen Rechtspflege. Am 19. März 2004 schickt er das ihm vom Eidgenössischen Versicherungsgericht zugestellte Formular "Gesuch um unentgeltliche Rechtspflege: Persönliche Angaben über den Gesuchsteller" ausgefüllt und von der zuständigen Wohnsitzgemeinde visiert zurück.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Auf Grund der Vorbringen in der Verwaltungsgerichtsbeschwerde ist die Rechtskraft der Rückerstattungsverfügung vom 23. Januar 2003 - anders noch als im vorinstanzlichen Verfahren - nicht mehr streitig. Zu prüfen bleibt damit einzig die Erlassfrage.
1. Auf Grund der Vorbringen in der Verwaltungsgerichtsbeschwerde ist die Rechtskraft der Rückerstattungsverfügung vom 23. Januar 2003 - anders noch als im vorinstanzlichen Verfahren - nicht mehr streitig. Zu prüfen bleibt damit einzig die Erlassfrage.
2. Bei Streitigkeiten um den Erlass der Rückerstattung zu viel ausbezahlter Ergänzungsleistungen geht es rechtsprechungsgemäss nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen im Sinne von Art. 134 OG (<ref-ruling> Erw. 2, 136 Erw. 1, 112 V 100 Erw. 1b, je mit Hinweisen), weshalb für das Verwaltungsgerichtsbeschwerdeverfahren vor dem Eidgenössischen Versicherungsgericht Kosten zu erheben sind (Umkehrschluss aus Art. 134 OG).
2.1 Auf die Aufforderung des Präsidenten des Eidgenössischen Versicherungsgerichts vom 12. März 2004 hin, innert 14 Tagen einen Kostenvorschuss von Fr. 1100.- zu bezahlen, hat der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege ersucht. Es ist daher zunächst darüber zu befinden, ob diesem Begehren entsprochen und von der Erhebung von Gerichtskosten resp. des verlangten Vorschusses abgesehen werden kann.
2.2 Nach Gesetz (Art. 135 in Verbindung mit Art. 152 Abs. 1 OG) und Praxis sind in der Regel die Voraussetzungen für die Bewilligung der unentgeltlichen Prozessführung und Verbeiständung erfüllt, wenn der Prozess nicht aussichtslos erscheint, die Partei bedürftig und die anwaltliche Vertretung notwendig oder doch geboten ist (<ref-ruling> Erw. 4a und 372 Erw. 5b, je mit Hinweisen).
2.3 Im Rahmen der für die Beurteilung eines Gesuchs um unentgeltliche Rechtspflege vorzunehmenden summarischen Überprüfung ist das vom Beschwerdeführer ergriffene Rechtsmittel nicht als aussichtslos zu betrachten, sind doch die Erfolgsaussichten der Wahrscheinlichkeit eines Unterliegens im Prozess angesichts der vorinstanzlichen Darlegungen zumindest ebenbürtig (vgl. <ref-ruling> Erw. 2.5.3).
Nachdem der Beschwerdeführer auch nach der Rentenzusprache vom 22. November 2002 an seine Ehefrau noch Anspruch auf Ergänzungsleistungen hat, ist die prozessuale Bedürftigkeit ebenfalls zu bejahen. Dies wird denn auch durch die am 19. März 2004 im vom Eidgenössischen Versicherungsgericht einverlangten Formular "Gesuch um unentgeltliche Rechtspflege: Persönliche Angaben über den Gesuchsteller" erteilten Auskünfte bestätigt, aus welchen sich - ohne dass näher zu prüfen wäre, wie es sich mit der Anrechenbarkeit der einzelnen Posten verhält - wenn nicht gar ein Aufwandüberschuss, so doch ein bloss minimer Einnahmenüberschuss ergibt. Damit ist es dem Gesuchsteller nicht mehr zuzumuten, neben dem nötigen Lebensunterhalt für sich und seine Ehefrau auch noch Prozesskosten zu bestreiten. Daran ändert nichts, dass als Vermögen nebst einem (wertlosen) Personenwagen Liegenschaften im Wert von insgesamt Fr. 191'000.- deklariert werden, stehen dem doch Hypothekarschulden von Fr. 205'000.- gegenüber.
2.4 Einer materiellen Beurteilung der Verwaltungsgerichtsbeschwerde ohne vorgängige Bezahlung des zunächst verlangten Kostenvorschusses steht unter diesen Umständen nichts entgegen.
2.4 Einer materiellen Beurteilung der Verwaltungsgerichtsbeschwerde ohne vorgängige Bezahlung des zunächst verlangten Kostenvorschusses steht unter diesen Umständen nichts entgegen.
3. 3.1 Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Nach dem gemäss Art. 1 Abs. 1 ELG (in der auf den 1. Januar 2003 in Kraft getretenen Fassung) im Ergänzungsleistungsbereich grundsätzlich anwendbaren <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten (Satz 1); wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Satz 2). Vor dem In-Kraft-Treten des ATSG waren unrechtmässig bezogene Ergänzungsleistungen vom Bezüger oder seinen Erben auf Grund von Art. 27 Abs. 1 ELV zurückzuerstatten (Satz 1). Für die Rückerstattung solcher Leistungen und den Erlass der Rückforderung erklärte Art. 27 Abs. 1 ELV in Satz 2 die Vorschriften des AHVG als sinngemäss anwendbar. Nach <ref-law> waren unrechtmässig bezogene Renten und Hilflosenentschädigungen zurückzuerstatten (Satz 1); bei gutem Glauben und gleichzeitigem Vorliegen einer grossen Härte konnte von der Rückforderung abgesehen werden (Satz 2).
3.2 Sowohl die den Erlass der Rückerstattungsschuld verweigernde Verfügung vom 11. Februar 2003 als auch der darauf folgende, diese bestätigende Einspracheentscheid vom 14. März 2003 sind erst nach dem In-Kraft-Treten des ATSG ergangen. Der zur Bewilligung oder Verweigerung des Erlasses der Rückerstattungsschuld Anlass gebende Sachverhalt hingegen, nämlich der Ergänzungsleistungsbezug durch den Beschwerdeführer einerseits und die rückwirkende Zusprache einer Invalidenrente an dessen Ehefrau andererseits, haben sich - abgesehen vom Ergänzungsleistungsbezug für den Monat Januar 2003 - praktisch vollständig vor dem 1. Januar 2003 verwirklicht. Inwieweit unter diesen Umständen bei der Beurteilung der streitigen Erlassfrage bereits - wie Vorinstanz und Verwaltung angenommen haben - die materiellrechtliche Bestimmung in <ref-law> zur Anwendung gelangt oder noch auf die vorher massgebend gewesenen Art. 27 Abs. 1 ELV in Verbindung mit <ref-law> abzustellen ist (vgl. dazu <ref-law> sowie <ref-ruling> ff. Erw. 2), braucht an dieser Stelle nicht weiter erörtert zu werden, da, wie das Eidgenössische Versicherungsgericht in <ref-ruling> f. Erw. 5.2 erkannt hat, dieser Frage insoweit keine ausschlaggebende Bedeutung zukommt, als die sich aus dem ATSG ergebenden Grundsätze aus der früheren gesetzlichen Ordnung und der dazu entwickelten Rechtsprechung hervorgegangen sind und insofern keine Änderung der Rechtslage vorliegt.
3.2 Sowohl die den Erlass der Rückerstattungsschuld verweigernde Verfügung vom 11. Februar 2003 als auch der darauf folgende, diese bestätigende Einspracheentscheid vom 14. März 2003 sind erst nach dem In-Kraft-Treten des ATSG ergangen. Der zur Bewilligung oder Verweigerung des Erlasses der Rückerstattungsschuld Anlass gebende Sachverhalt hingegen, nämlich der Ergänzungsleistungsbezug durch den Beschwerdeführer einerseits und die rückwirkende Zusprache einer Invalidenrente an dessen Ehefrau andererseits, haben sich - abgesehen vom Ergänzungsleistungsbezug für den Monat Januar 2003 - praktisch vollständig vor dem 1. Januar 2003 verwirklicht. Inwieweit unter diesen Umständen bei der Beurteilung der streitigen Erlassfrage bereits - wie Vorinstanz und Verwaltung angenommen haben - die materiellrechtliche Bestimmung in <ref-law> zur Anwendung gelangt oder noch auf die vorher massgebend gewesenen Art. 27 Abs. 1 ELV in Verbindung mit <ref-law> abzustellen ist (vgl. dazu <ref-law> sowie <ref-ruling> ff. Erw. 2), braucht an dieser Stelle nicht weiter erörtert zu werden, da, wie das Eidgenössische Versicherungsgericht in <ref-ruling> f. Erw. 5.2 erkannt hat, dieser Frage insoweit keine ausschlaggebende Bedeutung zukommt, als die sich aus dem ATSG ergebenden Grundsätze aus der früheren gesetzlichen Ordnung und der dazu entwickelten Rechtsprechung hervorgegangen sind und insofern keine Änderung der Rechtslage vorliegt.
4. Da es bei der Frage nach dem Erlass einer Rückerstattungsschuld nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen im Sinne von Art. 132 OG geht (vgl. Erw. 2 hievor), hat das Eidgenössische Versicherungsgericht lediglich zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
4.1 Hinsichtlich der Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts ist praxisgemäss zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und ist daher Tatfrage, die nach Massgabe von Art. 105 Abs. 2 OG von der Vorinstanz verbindlich beurteilt wird. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> Erw. 3, ARV 1998 Nr. 41 S. 237 Erw. 3, je mit Hinweisen).
4.2 Das kantonale Gericht hat zur Frage nach dem Unrechtsbewusstsein des Beschwerdeführers nicht ausdrücklich Stellung genommen. Der angefochtene kantonale Entscheid enthält demnach insofern keine für das Eidgenössische Versicherungsgericht verbindlichen Feststellungen, sodass einer freien Überprüfung im letztinstanzlichen Verfahren nichts im Wege steht.
4.2.1 Das Fehlen eines Unrechtsbewusstseins seitens des Beschwerdeführers während des Bezugs der nunmehr zurückgeforderten Ergänzungsleistungen in Frage zu stellen, besteht kein Anlass. Tatsächlich verhält es sich so, dass der Beschwerdeführer zunächst bis zur Rentenzusprache an seine Ehefrau sogar berechtigt war, die ihm ausgerichteten Ergänzungsleistungen entgegenzunehmen. Erst nachträglich wurde der Rechtmässigkeit dieses Leistungsbezugs mit der die Ehefrau betreffenden Rentenverfügung vom 22. November 2002 die Grundlage teilweise entzogen, in welchem Umfang dieser nunmehr - rückblickend gesehen - als unrechtmässig zu qualifizieren ist. Dies schliesst indessen nicht aus, das Vorliegen des guten Glaubens unter dem Gesichtspunkt der groben Fahrlässigkeit zu prüfen.
4.2.2 Die Verwaltung begründete die Ablehnung des Erlassgesuchs des Beschwerdeführers ausschliesslich mit der auf eine Meldepflichtverletzung zurückzuführenden fehlenden Gutgläubigkeit. Insoweit ist dem Beschwerdeführer - mit der Vorinstanz - darin beizupflichten, dass er vor der mit Verfügung vom 22. November 2002 erfolgten Zusprache der Invalidenrente für seine Ehefrau gar nichts zu melden hatte, das der Verwaltung die Möglichkeit gegeben hätte, die laufenden Ergänzungsleistungen zu reduzieren oder gar aufzuheben.
4.2.3 Dass dem Beschwerdeführer für die Zeit bis November 2002 keine Meldepflichtverletzung vorzuwerfen ist, genügt für die Bejahung der Gutgläubigkeit beim Leistungsbezug indessen nicht. Eine Verletzung der Melde- oder Auskunftspflicht ist eine zwar häufige, aber nicht die einzige Form eines fehlerhaften Verhaltens, das die Annahme von Gutgläubigkeit ausschliesst (ARV 1998 Nr. 41 S. 239 Erw. 4b).
Als dem Beschwerdeführer am 18. April 2002 Ergänzungsleistungen zugesprochen wurden, wusste er von der bereits am 10. Oktober 2000 erfolgten Anmeldung seiner Ehefrau bei der Invalidenversicherung. Wie dem Einspracheentscheid vom 14. März 2003, welcher Gegenstand des vorinstanzlichen Entscheids bildet, zu entnehmen ist, wurde jenes Leistungsbegehren mit Verfügung vom 24. Januar 2001 zwar abgelehnt. Dies indessen nur, weil die für die Entstehung eines Rentenanspruchs nach <ref-law> erforderliche einjährige Dauer der gesundheitsbedingten Arbeitsunfähigkeit noch nicht gegeben war. Gemäss einem Vermerk der Verwaltung vom 9. März 2003 auf einem vom Beschwerdeführer als Ergänzung zur Anmeldung zum Ergänzungsleistungsbezug ausgefüllten Fragebogen haben die damaligen (gröberen) Abklärungen aber immerhin eine Arbeitsunfähigkeit der Ehefrau von mindestens 30 bis 50 % ergeben. Unter diesen Umständen konnten der Beschwerdeführer und seine Gattin mit der Zusprache einer Invalidenrente nach Ablauf der Wartefrist rechnen. Nachdem der Beschwerdeführer in seinem Ergänzungsleistungsbegehren die Einkommens- und Vermögensverhältnisse auch seiner Ehefrau deklarieren musste, hätte er sich bei der von ihm zu erwartenden Umsicht aber auch Rechenschaft darüber abgeben müssen, dass ihm, sollte dem Leistungsgesuch seiner Ehefrau rückwirkend entsprochen werden, die ausbezahlten Ergänzungsleistungen unter Umständen nicht oder zumindest nicht im gewährten Umfang zustehen könnten. Wenn er diese Möglichkeit nicht erkannte - was vorauszusetzen ist, um ihm überhaupt fehlendes Unrechtsbewusstsein zubilligen zu können (vgl. Erw. 4.2.1 hievor) - oder ihr nicht die nötige Beachtung schenkte, kann ihm der Vorwurf nicht erspart bleiben, nicht das Mindestmass an Aufmerksamkeit aufgewendet zu haben, welches jedem verständigen Menschen in gleicher Lage und unter den gleichen Umständen als beachtlich hätte einleuchten müssen (<ref-ruling> Erw. 3d mit Hinweisen). Das Verkennen dieser Situation kann nicht auf eine bloss leichte Nachlässigkeit zurückgeführt werden, weshalb die Verwaltung die Gutgläubigkeit beim Leistungsbezug - wenn auch mit abweichender Begründung - für die Zeit bis zum Erhalt der die Invalidenrente der Ehefrau betreffenden Verfügung vom 22. November 2002 im Ergebnis zu Recht verneint hat. Weshalb - der Argumentation des kantonalen Gerichts folgend - die gesetzlich vorgesehene Erlassmöglichkeit in Fällen wie dem vorliegenden zum Vornherein ausgeschlossen und <ref-law> "im Sinne der Ausfüllung einer unechten Gesetzeslücke mittels teleologischer Reduktion" zu ergänzen sein sollte, ist nicht nachvollziehbar.
4.2.4 Für die Zeit nach der Rentenzusprache an die Ehefrau des Beschwerdeführers, mithin bezüglich der Ergänzungsleistungen für die Monate Dezember 2002 und Januar 2003, liegt klarerweise eine Meldepflichtverletzung vor, welche einem Erlass der Rückerstattungsschuld entgegensteht. Insoweit kann auf die Ausführungen des kantonalen Gerichts verwiesen werden, welchen seitens des Eidgenössischen Versicherungsgerichts nichts beizufügen ist.
4.2.4 Für die Zeit nach der Rentenzusprache an die Ehefrau des Beschwerdeführers, mithin bezüglich der Ergänzungsleistungen für die Monate Dezember 2002 und Januar 2003, liegt klarerweise eine Meldepflichtverletzung vor, welche einem Erlass der Rückerstattungsschuld entgegensteht. Insoweit kann auf die Ausführungen des kantonalen Gerichts verwiesen werden, welchen seitens des Eidgenössischen Versicherungsgerichts nichts beizufügen ist.
5. Da der Beschwerdeführer die Voraussetzungen zur Gewährung der unentgeltlichen Prozessführung erfüllt (Erw. 2 hievor), sind für das vorliegende Verfahren trotz grundsätzlicher Kostenpflichtigkeit (Umkehrschluss aus Art. 134 OG) vorerst keine Kosten zu erheben. Es wird indessen ausdrücklich auf Art. 152 Abs. 3 OG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1100.- werden dem Beschwerdeführer auferlegt. Zufolge Gewährung der unentgeltlichen Rechtspflege werden sie einstweilen auf die Gerichtskasse genommen.
2. Die Gerichtskosten von Fr. 1100.- werden dem Beschwerdeführer auferlegt. Zufolge Gewährung der unentgeltlichen Rechtspflege werden sie einstweilen auf die Gerichtskasse genommen.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 24. November 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: