Sachverhalt:
A. Der 1962 geborene B._ bezieht seit 1. Juli 1998 (mit Unterbrüchen) eine Ergänzungsleistung zur Rente der Invalidenversicherung. Nachdem die Ausgleichskasse Basel-Landschaft erfahren hatte, dass sich B._ vom 30. Juni 2003 bis 10. Februar 2004 in Untersuchungshaft und anschliessend im Massnahmenvollzug befunden hatte, verneinte sie rückwirkend per 1. Juli 2003 einen Anspruch auf Ergänzungsleistung und forderte mit Verfügung vom 5. Juli 2004 zu Unrecht bezogene Leistungen im Umfang von Fr. 9'974.- zurück. Die hiegegen erhobene Einsprache wies die Ausgleichskasse mit Einspracheentscheid vom 1. April 2005 ab. Nachdem das Kantonsgericht Basel-Landschaft mit in Rechtskraft erwachsenem Entscheid vom 28. Oktober 2005 auf Rechtmässigkeit der Rückforderungsverfügung vom 5. Juli 2004 erkannte, liess B._ um Erlass der Rückerstattungsschuld ersuchen. Mit Verfügung vom 2. Mai 2006 wies die Ausgleichskasse das Erlassgesuch ab. Daran hielt sie auf Einsprache hin fest (Einspracheentscheid vom 15. September 2006).
B. Die dagegen erhobene Beschwerde wies das Kantonsgericht-Basel-Landschaft mit Entscheid vom 12. August 2008 ab.
C. B._ lässt Beschwerde führen und beantragen, in Aufhebung des kantonalen Gerichtsentscheides und des Einspracheenscheides sei die Rückerstattungsschuld zu erlassen. Ferner wird um aufschiebende Wirkung der Beschwerde ersucht.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2 Die Ergänzungsleistungen zur Alters-, Hinterlassenen- und Invalidenversicherung haben durch das am 1. Januar 2008 in Kraft getretene Bundesgesetz vom 6. Oktober 2006 über die Schaffung von Erlassen zur Neugestaltung des Finanzausgleichs und der Aufgabenteilung zwischen Bund und Kantonen (AS 2007 5779) eine umfassende Neuregelung erfahren. Weil in zeitlicher Hinsicht grundsätzlich diejenigen materiellen Rechtssätze massgebend sind, welche bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben, und weil ferner das Sozialversicherungsgericht grundsätzlich auf den bis zum Zeitpunkt des Einspracheentscheids (hier: 15. September 2006) eingetretenen Sachverhalt abstellt (<ref-ruling> E. 3.1.1 S. 220 mit Hinweisen), richtet sich der hier zu beurteilende Erlass der Rückforderung von Ergänzungsleistungen aus der Zeit vom 1. Juli 2003 bis 29. Februar 2004 nach den bis Ende 2007 gültig gewesenen Bestimmungen.
2. Das vom Versicherten mit Beschwerde vom 15. September 2008 eingereichte und mit keinem Wort begründete Gesuch um Erteilung der aufschiebenden Wirkung wird - zumal hiefür keine von Amtes wegen zu berücksichtigenden Gründe erkennbar sind - mit diesem Urteil gegenstandslos.
3. Streitig und zu prüfen ist, ob dem Beschwerdeführer die rechtskräftig festgestellte Rückerstattungsschuld über Fr. 9'974.- erlassen werden kann.
3.1 Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (<ref-law>, im Bereich der Ergänzungsleistungen anwendbar gemäss Art. 1 Abs. 1 ELG; vgl. auch <ref-law>). Der Erlass setzt somit einerseits den gutgläubigen Leistungsbezug und andererseits das Vorliegen einer grossen Härte voraus.
3.2 Wie das kantonale Gericht zutreffend erwogen hat, ist der gute Glaube als Erlassvoraussetzung nicht schon mit der Unkenntnis des Rechtsmangels gegeben. Der Leistungsempfänger darf sich vielmehr nicht nur keiner böswilligen Absicht, sondern auch keiner groben Nachlässigkeit schuldig gemacht haben. Der gute Glaube entfällt somit einerseits von vornherein, wenn die zu Unrecht erfolgte Leistungsausrichtung auf eine arglistige oder grobfahrlässige Melde- oder Auskunftspflichtverletzung zurückzuführen ist. Anderseits kann sich die rückerstattungspflichtige Person auf den guten Glauben berufen, wenn ihr fehlerhaftes Verhalten nur leicht fahrlässig war (<ref-ruling> E. 2c S. 103). Wie in anderen Bereichen beurteilt sich das Mass der erforderlichen Sorgfalt nach einem objektiven Massstab, wobei aber das den Betroffenen in ihrer Subjektivität Mögliche und Zumutbare (Urteilsfähigkeit, Gesundheitszustand, Bildungsgrad usw.) nicht ausgeblendet werden darf (SVR 2007 IV Nr. 13 S. 49, I 622/05 E. 3.1).
3.3 Es ist zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann und ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Das Unrechtsbewusstsein gehört zum inneren Tatbestand und ist daher Tatfrage, die nach Massgabe von <ref-law> von der Vorinstanz verbindlich beantwortet wird. Demgegenüber handelt es sich bei der gebotenen Aufmerksamkeit um eine frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223).
3.4 Die mit der Verfügung vom 5. Juli 2004 vorgenommene Neuberechnung und Rückforderung der Ergänzungsleistung basiert auf dem Umstand, dass sich der Versicherte vom 30. Juni 2003 bis 10. Februar 2004 in Untersuchungshaft und anschiessend im vorzeitigen stationären Massnahmenvollzug im Massnahmenzentrum X._ befand. Der Ausgleichskasse wurde weder die Untersuchungshaft noch der am 11. Februar 2004 angetretene Massnahmenvollzug mitgeteilt.
3.5 Hinsichtlich der Erlassvoraussetzung des guten Glaubens hat sich die Vorinstanz nicht abschiessend geäussert, hingegen festgestellt, ein absichtliches Verhalten sei nicht erkennbar, was der Aktenlage auch nicht entgegensteht. Der gute Glaube hängt demnach davon ab, ob eine grobfahrlässige Verletzung der Meldepflicht vorliegt. Von einer solchen ist auszugehen, wenn der Beschwerdeführer nicht das Mindestmass an Aufmerksamkeit aufgewendet hat, welches von einem verständigen Menschen in gleicher Lage und unter den gleichen Umständen verlangt werden muss (vgl. SVR 2007 IV Nr. 13 S. 49 E. 4.4, I 622/05, mit Hinweis auf <ref-ruling> E. 3d S. 181; Urteil 9C_14/2007 vom 2. Mai 2007, E. 5.2).
3.5 Hinsichtlich der Erlassvoraussetzung des guten Glaubens hat sich die Vorinstanz nicht abschiessend geäussert, hingegen festgestellt, ein absichtliches Verhalten sei nicht erkennbar, was der Aktenlage auch nicht entgegensteht. Der gute Glaube hängt demnach davon ab, ob eine grobfahrlässige Verletzung der Meldepflicht vorliegt. Von einer solchen ist auszugehen, wenn der Beschwerdeführer nicht das Mindestmass an Aufmerksamkeit aufgewendet hat, welches von einem verständigen Menschen in gleicher Lage und unter den gleichen Umständen verlangt werden muss (vgl. SVR 2007 IV Nr. 13 S. 49 E. 4.4, I 622/05, mit Hinweis auf <ref-ruling> E. 3d S. 181; Urteil 9C_14/2007 vom 2. Mai 2007, E. 5.2).
3.6 3.6.1 Wie der Verfügung der Justiz-, Polizei- und Militärdirektion Basel-Landschaft vom 13. Dezember 2006 zu entnehmen ist, wurde der Versicherte in der Schweiz erstmalig am 14. August 1996 vom Strafgericht Basel-Stadt wegen mehrfacher sexueller Handlung mit Kindern zu 14 Monaten Gefängnis mit einer Probezeit von drei Jahren verurteilt. Bereits am 30. Dezember 1996 wurde er erneut wegen sexuellen Handlungen mit Kindern angezeigt und aufgrund weiteren Anzeigen wegen sexuellen Handlungen mit Kindern sowie wegen Tätlichkeit, evtl. Körperverletzung, am 30. Jini 2003 in Untersuchungshaft genommen und später in die Massnahmenanstalt X._ überwiesen.
3.6.2 Die Ausgleichskasse führt in ihrer Stellungnahme zu Recht an, dass der Beschwerdeführer sowohl in der Verfügung vom 30. Oktober 2000 wie auch in der kurz vor seiner Inhaftierung erlassenen Verfügung vom 19. Juni 2003 ausdrücklich auf die Meldepflicht bei Veränderungen in den persönlichen und wirtschaftlichen Verhältnissen aufmerksam gemacht worden war, wobei sich auf der Rückseite der Verfügungen eine beispielhafte Aufzählung der möglichen meldepflichtigen Tatbestände findet, was auch nicht bestritten wird. Die Verbüssung einer Gefängnis- oder Zuchthausstrafe oder der Aufenthalt in einer Massnahmenanstalt ist zwar nicht explizit als meldepflichtiger Tatbestand auf den Verfügungen über die Ergänzungsleistung zu einer AHV-/IV-Rente aufgeführt, stellt aber zweifelsohne eine meldepflichtige Änderung in den persönlichen Verhältnissen dar (SVR 2007 IV Nr. 13 S. 49 E. 4.4, I 622/05). Anders als in dem in <ref-ruling> beurteilten Sachverhalt stellte vorliegend die Untersuchungshaft für den einschlägig vorbestraften Beschwerdeführer insofern keinen ungewissen Zustand dar, als er bereits im Rahmen seiner Untersuchungshaft mit der Verbüssung seiner 14-monatigen (mit einer Probezeit von drei Jahren versehenen) Gefängnisstrafe rechnen musste und tatsächlich auch rechnete, zumal sein Rechtsvertreter bereits am 10. September 2003 angab, eine stationäre Massnahme zu befürworten (Abklärungsbericht des Externen Psychiatrischen Dienstes, Beratungsstelle Y._, vom 19. September 2003). Dementsprechend trat er bereits vor seiner zweiten rechtskräftigen Verurteilung zu einer Zuchthausstrafe von drei Jahren und neun Monaten (Entscheid des Strafgerichts Basel-Landschaft vom 27. Januar 2006) den Massnahmenvollzug direkt im Anschluss an die Untersuchungshaft an, was den Strafvollzug aufschob. Überdies dauerte die Haft auch lange genug, dass er ernsthafte Zweifel am Weiterbestand seines Rechts hätte haben müssen (vgl. SVR 2007 IV Nr. 13 S. 49 E. 4.4, I 622/05). Unter den in casu gegebenen Umständen war dem Versicherte seit Beginn der Untersuchungshaft klar, dass es zu einer Inhaftierung über eine verhältnismässig lange Dauer kommen wird, was sich auch daraus ergibt, dass er den Kindern mit Suizidabsichten oder Gefängnisstrafe, die ihn erwarten würde, falls sie seine Handlungen nicht für sich behielten, drohte. Selbst bei Eintritt in den vorzeitigen Massnahmenvollzug, welche als einschneidende Veränderung in den persönlichen Verhältnissen zu werten ist, meldete er dies den Behörden nicht. Mit der von ihm zu erwartenden Umsicht hätte sich der Beschwerdeführer aber spätestens zu diesem Zeitpunkt Rechenschaft darüber abgeben müssen, dass ihm die ausgerichtete Ergänzungsleistung allenfalls nicht zustehen könnte. Das Verkennen dieser Situation ist als grobfahrlässiges Verhalten zu werten, weshalb die Gutgläubigkeit beim Leistungsbezug zu verneinen ist.
3.7 Sämtliche Vorbringen in der Beschwerde ändern an diesem Ergebnis nichts. Trotz der unbestrittenermassen vorliegenden psychischen Leiden - gemäss Abklärungsbericht der Externen Psychiatrischen Dienste vom 19. September 2003 liegt eine Pädophilie (ICD-10 F65.4) und verdachtsweise eine Persönlichkeitsstörung (ICD-10 F61) sowie als Folge der Haftsituation eine leichte bis mittelgradige depressive Störung (ICD-10 F32.1) vor - ergibt sich aus den vorliegenden Akten nicht, dass der Versicherte nicht mehr in der Lage gewesen wäre, seine administrativen Angelegenheiten selber zu besorgen. Ebenso wenig führte das, wie in der Beschwerde eingewendet wird, "kognitive Fähigkeitsniveau im unteren Durchschnittsbereich" des weder bevormundeten noch verbeiständeten Beschwerdeführers nach Lage der Akten zu einer Unfähigkeit, die behördliche Korrespondenz selbstständig zu regeln, wie sich auch aus einer telefonischen Meldung seinerseits vom 28. Dezember 2001 bezüglich einer Lohndeklaration ergibt. Nicht stichhaltig ist sodann das Argument, er sei bis anhin davon ausgegangen, lediglich eine IV-Rente zu erhalten, womit nie eine Differenzierung zwischen IV-Rente und Ergänzungsleistung erfolgt sei. Wie der Aktennotiz der IV-Stelle vom 2. März 2004 zu entnehmen ist, meldete er auch dieser die veränderten persönlichen Verhältnisse nicht.
3.8 Ist der gute Glauben zu verneinen, kommt es nicht darauf an, ob die Rückerstattung für den Beschwerdeführer eine grosse Härte bedeutet. Was er diesbezüglich gegen den Entscheid der Vorinstanz vorbringt, braucht nicht näher geprüft zu werden. Hinsichtlich der Verwendung des gesamten im Massnahmenzentrum X._ im Monat erhaltenen Pekuliums (Gesamtbetrag des Frei- und Sperrkontos), welche Frage einzig streitig ist, kann angefügt werden, dass die Beschwerdegegnerin richtigerweise auf die Möglichkeit der Vollzugsinstitution hinweist, auf Gesuch des Gefangenen hin Zahlungen ab dem Sperrkonto zu bewilligen (beispielsweise für Schadenersatz und Wiedergutmachung gemäss Strafurteil, Familienuterstützung, Opferhilfe, Krankenkassenprämien, Beschwerdeverfahren, Bussenzahlung, Ausschaffungskosten, Aus- und Weiterbildung, Gesundheitskosten [z.B. Zahnarzt] und Hilfsmittel [Brille, Prothese] usw.; vgl. Strafvollzugskonkordat der Nordwest- und Innerschweiz, Richtlinien für das Arbeitsentgelt [Pekulium] vom Mai 2006, Ziff. 5). Demgemäss würde aller Voraussicht nach der Anrechnung des gesamten Pekuliums (hier Fr. 349.50 + Fr. 116. 50 im Monat März 2006) nichts entgegenstehen, wonach mit der Vorinstanz die Erlassvoraussetzung der grossen Härte ebenfalls zu verneinen wäre. Nach dem Gesagten hat es mit dem vorinstanzlichen Entscheid sein Bewenden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Kantonsgericht Basel-Landschaft, Abteilung Sozialversicherungsrecht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. November 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Polla