Sachverhalt:
Sachverhalt:
A. Die 1994 gegründete X._ AG war der Ausgleichskasse des Kantons St. Gallen (nachfolgend: Ausgleichskasse) als beitragspflichtige Arbeitgeberin angeschlossen. Gemäss Handelsregisterauszug amteten zunächst R._ und L._ als Mitglieder sowie C._ als Präsident des Verwaltungsrats, Letztere jedoch nur bis 26. März 1998. Per 29. Juli 1998 erfolgte ein Sitzwechsel von A._ nach B._ sowie eine Firmenänderung in Y._ AG. Gleichzeitig amtete R._ nunmehr als Verwaltungsratspräsident, während neu K._ das Mandat des Vizepräsidenten und Geschäftsführers übernahm. Am 2. Dezember 1999 übernahm S._ zusätzlich ein Verwaltungsratsmandat. K._ und R._ tauschten per 12. Oktober 2000 ihre Funktion; schliesslich wurde R._ wie auch S._ per 17. Januar 2001 im Handelsregister gelöscht.
Am 22. Februar 2002 wurde über die Gesellschaft der Konkurs eröffnet und am 28. Februar 2002 mangels Aktiven wieder eingestellt. Mit Verfügungen vom 17. Juni 2002 verpflichtete die Ausgleichskasse die Organe der Gesellschaft zur Leistung von Schadenersatz gemäss <ref-law> für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) in unterschiedlicher Höhe, aber in solidarischer Haftbarkeit mit den anderen für den jeweils sie betreffenden Betrag: L._ und C._ zum Betrag von jeweils Fr. 23'556.75 (bundesrechtlicher Teil: Fr. 20'570.40, kantonalrechtlicher Teil: Fr. 2'986.35), R._ und S._ zum Betrag von jeweils Fr. 64'543.60 (bundesrechtlicher Teil: Fr. 55'984.80, kantonalrechtlicher Teil: Fr. 8'558.80) sowie K._ zum Betrag von Fr. 78'911.85 (bundesrechtlicher Teil: Fr. 68'400.70, kantonalrechtlicher Teil: Fr. 10'511.15). Die Betroffenen erhoben hiegegen Einspruch.
Am 22. Februar 2002 wurde über die Gesellschaft der Konkurs eröffnet und am 28. Februar 2002 mangels Aktiven wieder eingestellt. Mit Verfügungen vom 17. Juni 2002 verpflichtete die Ausgleichskasse die Organe der Gesellschaft zur Leistung von Schadenersatz gemäss <ref-law> für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) in unterschiedlicher Höhe, aber in solidarischer Haftbarkeit mit den anderen für den jeweils sie betreffenden Betrag: L._ und C._ zum Betrag von jeweils Fr. 23'556.75 (bundesrechtlicher Teil: Fr. 20'570.40, kantonalrechtlicher Teil: Fr. 2'986.35), R._ und S._ zum Betrag von jeweils Fr. 64'543.60 (bundesrechtlicher Teil: Fr. 55'984.80, kantonalrechtlicher Teil: Fr. 8'558.80) sowie K._ zum Betrag von Fr. 78'911.85 (bundesrechtlicher Teil: Fr. 68'400.70, kantonalrechtlicher Teil: Fr. 10'511.15). Die Betroffenen erhoben hiegegen Einspruch.
B. Mit Entscheid vom 27. Juni 2003 hiess das Versicherungsgericht des Kantons St. Gallen die von der Ausgleichskasse im reduzierten Umfang von Fr. 23'556.75 (bundesrechtlicher Teil: Fr. 20'570.40, kantonalrechtlicher Teil Fr. 2'986.35) erhobene Klage gegen C._ teilweise gut und verpflichtete ihn zur Zahlung von Schadenersatz im Betrag von Fr. 4'856.40 für den bundesrechtlichen und Fr. 700.35 für den kantonalrechtlichen Teil, wobei die Klägerin Zahlungen der Solidarschuldner R._, L._, S._ und K._ auf diese Beträge anteilsmässig anzurechnen habe.
B. Mit Entscheid vom 27. Juni 2003 hiess das Versicherungsgericht des Kantons St. Gallen die von der Ausgleichskasse im reduzierten Umfang von Fr. 23'556.75 (bundesrechtlicher Teil: Fr. 20'570.40, kantonalrechtlicher Teil Fr. 2'986.35) erhobene Klage gegen C._ teilweise gut und verpflichtete ihn zur Zahlung von Schadenersatz im Betrag von Fr. 4'856.40 für den bundesrechtlichen und Fr. 700.35 für den kantonalrechtlichen Teil, wobei die Klägerin Zahlungen der Solidarschuldner R._, L._, S._ und K._ auf diese Beträge anteilsmässig anzurechnen habe.
C. C._ führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der angefochtene Entscheid sei bezüglich des bundesrechtlichen Teils aufzuheben und die Klage abzuweisen; eventualiter sei die Sache zur Durchführung des Beweisverfahrens und zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung. Die als Mitinteressierte beigeladenen R._, S._, K._ und L._ haben sich nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Der angefochtene Entscheid hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1. Der angefochtene Entscheid hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. 2.1 Wie die Vorinstanz zutreffend ausgeführt hat, findet das auf den 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000, mit welchem zahlreiche Bestimmungen im AHV-Recht, insbesondere auch hinsichtlich der Arbeitgeberhaftung nach <ref-law> (Art. 52 Abs. 3 und 4 AHVG, eingefügt durch Anhang Ziff. 7 ATSG), geändert worden sind, vorliegend keine Anwendung, weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 3, 129 V 4 Erw. 1.2).
2.2 Das kantonale Gericht hat die Bestimmungen über die Arbeitgeberhaftung (<ref-law>; <ref-law> in Verbindung mit <ref-law>) sowie die hiezu ergangene Rechtsprechung, insbesondere über den Eintritt des Schadens und Zeitpunkt der Kenntnis des Schadens (<ref-ruling> Erw. 3), über die subsidiäre Haftung der Organe eines Arbeitgebers (<ref-ruling>, 123 V 15 Erw. 5b, je mit Hinweisen), den zu ersetzenden Schaden (<ref-ruling> Erw. 3a, 123 V 15 Erw. 5b, je mit Hinweisen), die erforderliche Widerrechtlichkeit (<ref-ruling> Erw. 2a mit Hinweisen), die Haftungsvoraussetzung des qualifizierten Verschuldens und dem dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> Erw. 3a, ZAK 1992 S. 248 Erw. 4b, je mit Hinweisen; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) sowie den adäquaten Kausalzusammenhang (<ref-ruling> Erw. 5a) zutreffend wiedergegeben. Darauf kann verwiesen werden.
2.2 Das kantonale Gericht hat die Bestimmungen über die Arbeitgeberhaftung (<ref-law>; <ref-law> in Verbindung mit <ref-law>) sowie die hiezu ergangene Rechtsprechung, insbesondere über den Eintritt des Schadens und Zeitpunkt der Kenntnis des Schadens (<ref-ruling> Erw. 3), über die subsidiäre Haftung der Organe eines Arbeitgebers (<ref-ruling>, 123 V 15 Erw. 5b, je mit Hinweisen), den zu ersetzenden Schaden (<ref-ruling> Erw. 3a, 123 V 15 Erw. 5b, je mit Hinweisen), die erforderliche Widerrechtlichkeit (<ref-ruling> Erw. 2a mit Hinweisen), die Haftungsvoraussetzung des qualifizierten Verschuldens und dem dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> Erw. 3a, ZAK 1992 S. 248 Erw. 4b, je mit Hinweisen; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) sowie den adäquaten Kausalzusammenhang (<ref-ruling> Erw. 5a) zutreffend wiedergegeben. Darauf kann verwiesen werden.
3. Streitig und zu prüfen ist, ob und in welchem Umfang der Beschwerdeführer Schadenersatz zu leisten hat.
3.1 Wie die Vorinstanz verbindlich festgestellt hat (vgl. Erw. 1 hievor), umfasst die gegenüber dem Beschwerdeführer klageweise geltend gemachte Schadenersatzforderung in der Höhe von Fr. 23'556.75 unbezahlt gebliebene Beiträge zuzüglich Verwaltungskosten, Mahngebühren, Betreibungskosten und Verzugszinsen für die Monate März bis Juli 1997 (gemäss Kontoauszug Posten 1997/0006-9 sowie 1997/0011) sowie die Lohnnachmeldung für das 1. Semester 1997 (gemäss Kontoauszug Posten 1997/0010). Dabei hat die Vorinstanz unter Berücksichtigung von Herabsetzungsgründen - die Ausgleichskasse hat die Ausstände insofern mitzuverantworten, als sie elementare Vorschriften der Beitragsveranlagung und des Beitragsbezugs verletzt hat (vgl. Erw. 3.2.2 hernach) - den gesamten Betrag um Fr. 18'000.- herabgesetzt, woraus der Betrag von Fr. 5'556.75 resultiert, abzüglich der kantonalrechtlichen Forderung von Fr. 700.35. Die konkursite Gesellschaft entrichtete die geschuldeten Beiträge über Jahre nur schleppend, auf Betreibung hin und schliesslich gar nicht mehr. Damit verstiess sie grobfahrlässig gegen die Vorschriften von <ref-law> in Verbindung mit <ref-law> (in der bis 31. Dezember 2000 gültig gewesenen Fassung), was grundsätzlich die volle Schadenersatzpflicht gemäss <ref-law> nach sich zieht (<ref-ruling> Erw. 2a mit Hinweisen). Zu prüfen ist deshalb, ob die Vorinstanz dem Beschwerdeführer das Verschulden der Arbeitgeberin zu Recht als grobfahrlässiges Verhalten angerechnet hat.
3.2 Der Beschwerdeführer rügt zunächst die Nichtanrechnung von Teilzahlungen an die zuerst betriebenen bzw. ältesten Beitragsschulden. Er macht dazu geltend, zwar habe die Vorinstanz richtigerweise den Grundsatz bestätigt, wonach in Anlehnung an <ref-law> nachträgliche Zahlungen vorab zur Tilgung der ältesten Beitragsschulden zu verwenden seien. Indem sie aber ausführe, die Teilzahlungen seien an diejenigen Forderungen angerechnet worden, für welche die Betreibung eingeleitet worden sei, habe sie übersehen, dass gerade die ihn betreffenden Forderungen allesamt bereits 1997 in Betreibung gesetzt worden seien. Es habe für die Klägerin keinen Grund gegeben, die Teilzahlungen zuerst an später fällige und auch später in Betreibung gesetzte Ausstände, so aus den Jahren 1998 und 1999, anzurechnen.
Zwar trifft es zu, dass nach ständiger Rechtsprechung - in Anlehnung an <ref-law> - nachträgliche Zahlungen vorab zur Tilgung der ältesten Beitragsschulden zu verwenden sind (<ref-ruling>, 112 V 6, SVR 1995 AHV Nr. 70 S. 213). Der Beschwerdeführer übersieht allerdings, dass es sich bei den von ihm ins Feld geführten Zahlungen nicht um normale Zahlungen der Gesellschaft, sondern vielmehr um Erlöse aus Betreibungen und Pfändungen handelt, welche der Ausgleichskasse direkt vom Betreibungsamt überwiesen wurden. Diesfalls kommt der vorgenannte Anrechnungsgrundsatz nicht zum Tragen: Gemäss <ref-law> bilden sämtliche Gläubiger, die innerhalb der Anschlussfrist das Fortsetzungsbegehren stellen, zusammen eine Pfändungsgruppe. Innerhalb der Gruppe wird der Pfändungserlös im Verhältnis der Forderungsbeiträge verteilt. Es wird ein Verteilplan erstellt und die Forderungen der betreibenden Gläubiger werden im Umfang des zur Verfügung stehenden Pfändungserlöses getilgt. Vorliegend wurden die in Frage stehenden Forderungen, wie sich aus der Pfändungsurkunde vom 21. Juni 2000 und den Gläubiger-Abrechnungen vom 7. und 28. Mai 2001 ergibt (Posten 1997/0006-11 gemäss Kontoauszug; vgl. Erw. 3.1 hievor), in einer Pfändungsgruppe ("Gruppe Nr. 00/32") zusammengefasst. Zunächst resultierte ein Pfändungserlös von Fr. 18'285.-, der auf sämtliche einzelnen Beitragsforderungen der Pfändungsgruppe aufgeteilt wurde. Sodann ergab eine Nachpfändung nochmals einen Erlös von Fr. 848.60, der in der gleichen Weise aufgeteilt wurde. Unter diesen Umständen durfte die Ausgleichskasse die Pfändungserlöse nicht auf andere Forderungen anrechnen; für eine Anrechnungserklärung gemäss <ref-law> oder eine Anrechnungsvermutung nach <ref-law> bleibt kein Raum. Daraus erhellt im Übrigen, dass entgegen der Auffassung des Beschwerdeführers sehr wohl Zahlungen im Rahmen der Verwertung auch an die ihn betreffenden Positionen angerechnet wurden, diese aber für eine volle Deckung nicht ausreichten.
3.2.1 Im Weiteren bringt der Beschwerdeführer erneut vor, das Unternehmen sei nach seinem Ausscheiden aus dem Verwaltungsrat aus dem Verkauf von Umlaufvermögen oder Kapitalbeschaffung zu grösseren Geldbeträgen gekommen, welches es dem späteren Geschäftsführer K._ ohne weiteres ermöglicht hätte, die offenen Beitragsforderungen zu begleichen.
Dieser Einwand ist unbehelflich: Die Gesellschaft musste für die ausstehenden Beiträge während Jahren betrieben werden. Die Ausstände waren dem verantwortlichen Organ während langer Zeit bekannt. Der Beschwerdeführer hat während seiner Amtszeit als Verwaltungsrat nicht dafür gesorgt, dass die Beiträge bezahlt wurden. Es kann auch nicht davon gesprochen werden, die Beitragspflicht sei nur vorübergehend - zur Überwindung finanzieller Schwierigkeiten - verletzt worden. Vielmehr bestanden für den Beschwerdeführer keine berechtigten Aussichten, die offenen Beiträge innert vernünftiger Frist zu decken, was indes Voraussetzung für die Rechtfertigung eines vorübergehenden Beitragsausstandes im Zusammenhang mit einer in Aussicht stehenden Sanierung der Gesellschaft bildet (<ref-ruling> Erw. 2, bestätigt in <ref-ruling>). Der Beschwerdeführer war bis 26. März 1998 als Verwaltungsrat tätig. Zu jenem Zeitpunkt bestanden die Ausstände schon lange. Es kann daher dahinstehen, ob nach seinem Ausscheiden in der Tat noch wesentliche finanzielle Mittel in die Gesellschaft flossen. Massgebend ist allein, dass er während seiner Amtszeit nicht und damit nicht rechtzeitig für die Begleichung der ausstehenden Beiträge gesorgt hat.
3.2.2 Schliesslich macht der Beschwerdeführer hinsichtlich der von der Vorinstanz vorgenommenen Herabsetzung (<ref-ruling> Erw. 3c, AHI 2002 S. 51) geltend, die Ausgleichskasse habe auf Grund ihres Verhaltens die Ausstände für 1997 vollumfänglich selbst zu verantworten, da kein Kausalzusammenhang mehr zwischen den Pflichtverletzungen und dem eingetretenen Schaden bestehe. Er führt dazu aus, es sei nicht nachvollziehbar, weshalb sich das kantonale Gericht bei der Reduktion des Schadenersatzes nur an den zu spät veranlagten Beiträgen orientiert habe, nicht jedoch an denjenigen, für welche die Ausgleichskasse die Betreibungen habe verfallen lassen.
Dieser Betrachtungsweise kann ebenfalls nicht gefolgt werden. Zwar trifft es zu, dass die Beschwerdegegnerin einzelne Betreibungen nach zwei Jahren erneut erheben musste und mit ihren Veranlagungsverfügungen zur Beseitigung des Rechtsvorschlages zu lange zugewartet hat. Indessen hätte der Beschwerdeführer auch dann noch dafür sorgen können und auch müssen, dass die Ausstände bezahlt werden. Dies hat er indes nicht getan. Vielmehr blieb die Gesellschaft auch die laufenden Beiträge schuldig und musste weiter betrieben werden. Es kann daher nicht gesagt werden, bei früherer Geltendmachung der Beiträge wäre es zu keinerlei Ausständen gekommen, weshalb diesbezüglich kein Kausalzusammenhang zwischen dem Vorgehen der Ausgleichskasse und dem eingetretenen Schaden besteht. Unter diesen Umständen ist die Vorinstanz dem Beschwerdeführer mit der Schadenminderung von Fr. 18'000.- sehr weit entgegengekommen.
Dieser Betrachtungsweise kann ebenfalls nicht gefolgt werden. Zwar trifft es zu, dass die Beschwerdegegnerin einzelne Betreibungen nach zwei Jahren erneut erheben musste und mit ihren Veranlagungsverfügungen zur Beseitigung des Rechtsvorschlages zu lange zugewartet hat. Indessen hätte der Beschwerdeführer auch dann noch dafür sorgen können und auch müssen, dass die Ausstände bezahlt werden. Dies hat er indes nicht getan. Vielmehr blieb die Gesellschaft auch die laufenden Beiträge schuldig und musste weiter betrieben werden. Es kann daher nicht gesagt werden, bei früherer Geltendmachung der Beiträge wäre es zu keinerlei Ausständen gekommen, weshalb diesbezüglich kein Kausalzusammenhang zwischen dem Vorgehen der Ausgleichskasse und dem eingetretenen Schaden besteht. Unter diesen Umständen ist die Vorinstanz dem Beschwerdeführer mit der Schadenminderung von Fr. 18'000.- sehr weit entgegengekommen.
4. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Ausgang des Verfahrens entsprechend gehen die Kosten zu Lasten des Beschwerdeführers (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Bundesamt für Sozialversicherung, L._, K._, R._ und S._ zugestellt.
Luzern, 8. Oktober 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Die Gerichtsschreiberin: