Sachverhalt:
A. Mit Urteil vom 6. Juni 2005 (B 2/04) hatte das Eidgenössische Versicherungsgericht die zuständige BVG-Vorsorgeeinrichtung verpflichtet, dem 1955 geborenen, seit 1. April 2000 eine halbe und seit 1. April 2002 eine ganze Rente der Invalidenversicherung beziehenden H._ Invalidenleistungen zu erbringen. Dies geschah, basierend auf einer "Leistungsabrechnung berufliche Vorsorge" vom 10. Januar 2006, u.a. mit der am 13. Januar 2006 erfolgten Gutschrift einer die Zeit vom 13. Februar 2003 bis 31. März 2006 betreffenden Nachzahlungssumme im Betrag von Fr. 63'247.-, welche H._ Mitte März 2006 auf ein Vorsorgekonto der Raiffeisen Vorsorgestiftung überweisen liess. Am 6. Februar 2006 verfügte die Ausgleichskasse des Kantons Solothurn auf Grund einer Neuberechnung des Ergänzungsleistungsanspruchs die Rückforderung von im Zeitraum vom 1. Februar 2003 bis 31. Januar 2006 zu viel ausgerichteter Ergänzungsleistungen in Höhe von insgesamt Fr. 44'815.-. Dieser Verwaltungsakt erwuchs unangefochten in Rechtskraft.
Mit Eingabe vom 28. Februar 2006 stellte H._ das Gesuch um Erlass der Rückerstattungsverpflichtung, welchem die Ausgleichskasse mangels Vorliegens der Erlassvoraussetzung der grossen Härte nicht stattgab (Verfügung vom 6. April 2006). Daran wurde auf Einsprache hin festgehalten (Einspracheentscheid vom 4. Mai 2006).
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn ab (Entscheid vom 29. Januar 2008).
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheids und des Einspracheentscheids der Ausgleichskasse vom 4. Mai 2006 sei seinem Gesuch um Erlass der Rückforderung in Höhe von Fr. 44'815.- vom 28. Februar 2006 zu entsprechen; eventualiter sei die Streitsache zur Neuabklärung und zum erneuten Entscheid an die Ausgleichskasse zurückzuweisen. Des Weitern sei der Rechtsvorkehr die aufschiebende Wirkung zu erteilen.
Während das kantonale Versicherungsgericht und die Ausgleichskasse auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
D. Mit Verfügung der Instruktionsrichterin vom 21. Mai 2008 wurde der Beschwerde die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
1.2 Diese kognitionsrechtliche Ordnung führt bei Streitigkeiten um den Erlass der Rückerstattung unrechtmässig bezogener Ergänzungsleistungen gegenüber der bis 31. Dezember 2006 unter der Herrschaft des Bundesgesetzes über die Organisation der Bundesrechtspflege (OG) geltenden Rechtslage zu keinen grundlegenden Neuerungen, war doch die Frage nach dem Erlass einer Rückerstattungsschuld schon nach damaligem Recht nur mit eingeschränkter Kognition überprüfbar (Art. 132 in Verbindung mit 104 lit. a und b sowie Art. 105 Abs. 2 OG; <ref-ruling> E. 2 S. 223; SVR 2007 IV Nr. 13 S. 49, E. 1, I 622/05, und 2002 EL Nr. 9 S. 21, E. 3, P 77/01).
2. Streitig und zu prüfen ist, ob dem Beschwerdeführer die rechtskräftig festgestellte Rückerstattungsschuld über Fr. 44'815.- erlassen werden kann.
2.1 Im angefochtenen Entscheid wurden die diesbezüglich einschlägigen Bestimmungen (Art. 1 Abs. 1 ELG in Verbindung mit <ref-law> und Art. 4 f. ATSV) sowie die zu den inhaltsgleichen Vorgängernormen (Art. 27 Abs. 1 ELV in Verbindung mit <ref-law> und <ref-law>, jeweils in den bis Ende 2002 gültig gewesenen Fassungen) ergangene, weiterhin massgebende Rechtsprechung (<ref-ruling> [zur Erlassvoraussetzung des guten Glaubens]; <ref-ruling> [zur Erlassvoraussetzung der grossen Härte]; vgl. SVR 2007 EL Nr. 8 S. 19, E. 2.1, 8C_1/2007) zutreffend dargelegt. Darauf wird verwiesen.
2.2 Anzufügen ist, dass die Ergänzungsleistungen zur Alters-, Hinterlassenen- und Invalidenversicherung durch das am 1. Januar 2008 in Kraft getretene Bundesgesetz vom 6. Oktober 2006 über die Schaffung von Erlassen zur Neugestaltung des Finanzausgleichs und der Aufgabenteilung zwischen Bund und Kantonen (AS 2007 5779) eine umfassende Neuregelung erfahren haben, mit welcher u.a. auch eine Angleichung des <ref-law> einherging (Verordnung über Anpassungen des Verordnungsrechts an die Neugestaltung des Finanzausgleichs und der Aufgabenteilung zwischen Bund und Kantonen vom 7. November 2007 [AS 2007 5844 f.]). Insbesondere für die Prüfung der Erlassvoraussetzung der grossen Härte ist indessen, wie die Vorinstanz richtig erkannt hat, grundsätzlich der Zeitpunkt massgebend, in welchem über die Rückforderung rechtskräftig entschieden wurde (<ref-law>). Dies ist in casu mit unangefochten gebliebener Rückerstattungsverfügung der Beschwerdegegnerin vom 6. Februar 2006 geschehen, sodass auf die damaligen finanziellen Verhältnisse des Beschwerdeführers abzustellen ist. Von der Möglichkeit, eine sich danach allfällig veränderte finanzielle Lage miteinzubeziehen, hat das kantonale Gericht keinen Gebrauch gemacht (<ref-ruling> E. 2c S. 293 f.; Kieser, ATSG-Kommentar, N 25 in fine zu Art. 25). Die Beurteilung der Erlassfrage hat somit nach der bis Ende 2007 gültig gewesenen Rechtslage zu erfolgen (nachstehend mit altArt. gekennzeichnet).
3. Unbestrittenermassen ist die Erlassvoraussetzung des guten Glaubens, zumal in Bezug auf das Element des Vorliegens oder Fehlens des Unrechtsbewusstseins, da den inneren Tatbestand und daher eine Tatfrage betreffend (<ref-ruling> E. 3 S. 223; SVR 2007 EL Nr. 8 S. 19, E. 2.2, 8C_1/2007; Urteil 8C_391/2008 vom 14. Juli 2008, E. 4.2), letztinstanzlich nur innerhalb der in E. 1.1 hievor beschriebenen Grenzen überprüfbar, zu bejahen.
4. Streitig und zu prüfen ist, ob das Kriterium der grossen Härte als erfüllt anzusehen ist.
4.1 Dieses liegt gemäss <ref-law> in Verbindung mit altArt. 5 Abs. 1 ATSV grundsätzlich vor, wenn die vom ELG anerkannten Ausgaben nebst weiteren Ausgaben die nach ELG anrechenbaren Einnahmen übersteigen. In <ref-ruling> hat das Eidgenössische Versicherungsgericht in einem Ergänzungsleistungsstreit diesbezüglich die folgende, auch nach Inkrafttreten des ATSG massgebende (vgl. E. 2.1 hievor) Präzisierung der bisherigen Rechtsprechung vorgenommen (E. 5a-c S. 225 f. und E. 6b-c S. 226 ff.):
"5.- a) Eine grosse Härte im Sinne von <ref-law> liegt gemäss der im wesentlichen auf das Urteil N. vom 16. März 1972 (ZAK 1973 S. 198) zurückgehenden und nach grundsätzlicher Überprüfung in <ref-ruling> (vgl. ferner <ref-ruling> Erw. 2b) nur mehr hinsichtlich des prozentualen Zuschlags modifizierten Rechtsprechung vor, wenn zwei Drittel des anrechenbaren Einkommens (und der allenfalls hinzuzurechnende Vermögensteil) die nach <ref-law> anwendbare und um 50 % erhöhte Einkommensgrenze nicht erreichen. Für die Ermittlung des anrechenbaren Einkommens und des hinzuzurechnenden Vermögensteils gelten die Regeln der <ref-law>. Massgebend sind die wirtschaftlichen Verhältnisse, wie sie im Zeitpunkt vorliegen, da der Rückerstattungspflichtige bezahlen sollte (zum Ganzen vgl. <ref-ruling> Erw. 2a und 293 Erw. 2c, je mit Hinweisen; ferner SVR 1995 AHV Nr. 61 S. 182 f. Erw. 4 und SZS 1992 S. 117 Erw. 3b; Erwin Carigiet, Ergänzungsleistungen zur AHV/IV, Zürich 1995, S. 178; zur Entwicklung der Rechtsprechung vgl. Meyer-Blaser, Die Rückerstattung von Sozialversicherungsleistungen, ZBJV 131/1995 S. 484 f. sowie Fritz Widmer, Die Rückerstattung unrechtmässig bezogener Leistungen in den Sozialversicherungen, Basler Diss. 1984, S. 158 ff.).
b) In Anwendung dieser Rechtsprechung hat das Eidgenössische Versicherungsgericht verschiedentlich erkannt, dass das Vorliegen einer grossen Härte bei einem Versicherten, dessen Einkommen die massgebende Grenze unterschreitet, nicht schon deshalb verneint werden könne, weil er über ein gewisses Vermögen verfüge. Diese Aussage lässt sich bereits dem in ZAK 1973 S. 198 veröffentlichten Urteil N. vom 16. März 1972 entnehmen (a.a.O., S. 201 oben), wie namentlich in <ref-ruling> Erw. 4c unmissverständlich klargestellt wurde ("... il résulte, en effet, clairement de cet arrêt que, lorsque le revenu de l'assuré n'atteint pas la limite déterminante en l'occurence, l'existence d'une situation difficile ne peut pas être niée du seul fait que l'assuré jouit d'une certaine fortune"). In der Folge ist diese Rechtsprechung nicht nur stillschweigend angewendet (unveröffentlichtes Urteil K. Vom 30. Oktober 1989, P 29/89), sondern auch ausdrücklich (unveröffentlichtes Urteil R. vom 18. Oktober 1990, I 414/88) bestätigt worden. Dabei führte das Eidgenössische Versicherungsgericht zuletzt aus, dass das Vermögen eines Versicherten für die Beurteilung seiner Rückzahlungsfähigkeit und des Vorliegens eines Härtefalles nur in seiner "Einkommensrelevanz" massgeblich sei, indem einerseits der Vermögensertrag und anderseits ein Fünfzehntel (vgl. <ref-law>) des nach Abzug der Rückerstattungsschuld und des in <ref-law> aufgeführten "Notpfennigs" verbleibenden Nettobetrages als Einkommen angerechnet werde; darüber hinaus könne das Vermögen nicht weiter berücksichtigt werden.
c) Eine Einschränkung hat der Anwendungsbereich des Erlasses durch die Rechtsprechung hingegen dort erfahren, wo der Verwaltung die Möglichkeit der Verrechnung offensteht. Gerade im Zusammenhang mit Art. 27 Abs. 2 ELV, wonach Rückforderungen von Ergänzungsleistungen mit fälligen Leistungen aufgrund des ELG sowie des AHVG und des IVG verrechnet werden können, hat das Eidgenössische Versicherungsgericht erkannt, dass bei dieser Verrechnung ein Erlass nur dann in Betracht fällt, wenn sie mit laufenden oder künftig fällig werdenden Leistungen erfolgt. Anderes gilt jedoch, wenn es darum geht, dem Versicherten bereits ausbezahlte Leistungen durch gleich hohe, unter anderem Titel geschuldete zu ersetzen und die beiden Betreffnisse miteinander zu verrechnen. Hier besteht lediglich ein anderer Rechtsgrund für die geschuldeten Leistungen; das Vermögen des Rückerstattungspflichtigen erfährt keine Veränderung, die zu einem Härtefall im Sinne von <ref-law> führen könne, weshalb die Frage des Erlasses nicht zu prüfen ist (ZAK 1977 S. 195 f. Erw. 3). - Wie das Eidgenössische Versicherungsgericht später entschieden hat, handelt es sich dabei um einen allgemeinen Grundsatz des Sozialversicherungsrechts, der stets angewendet werden muss, wenn der Erlass einer verrechnungsweise geltend gemachten Rückforderung zu prüfen ist (ARV 1987 Nr. 13 S. 120 Erw. 3b; vgl. ferner <ref-ruling> Erw. 5b).
6.- a) ...
b) Tatsächlich verhält es sich im vorliegenden Fall so, dass die gutgläubige Beschwerdegegnerin nach bisheriger Rechtsprechung in den Genuss der Rechtswohltat des Erlasses gelangen würde, weil die ihr nachträglich zugeflossenen vorsorgerechtlichen Invalidenleistungen von Fr. 16'791.- der Annahme einer grossen Härte nicht entgegenstehen (vgl. Erw. 5b hievor sowie vor allem das Beispiel in <ref-ruling> Erw. 4a). Denn wegen des nach der Rechtsprechung anwendbaren <ref-law> und des darin verankerten Freibetrages für alleinstehende Versicherte von Fr. 25'000.- bliebe das aus der Nachzahlung der Rentenanstalt gebildete Vermögen als solches (d.h. vorbehältlich des Ertrages) ohne jeden Einfluss auf die Beurteilung der grossen Härte, wie das kantonale Gericht an sich richtig erkannt hat. Aufgrund des Umstandes endlich, dass <ref-law> lediglich die Anrechnung des fünfzehnten Teils des über den Freibetrag hinausgehenden Vermögens verlangt und nach der Praxis überdies die Rückerstattungsschuld vom Vermögen abzuziehen ist (vgl. <ref-ruling> Erw. 2c; Rz 1395 der Wegleitung über die Renten [RWL], gültig ab 1. Januar 1995; zu dieser in der Verwaltungspraxis seit 1984 verankerten Ordnung vgl. auch Widmer, a.a.O., S. 169), müsste ein Härtefall selbst dann bejaht werden, wenn der zugeflossene Kapitalbetrag um ein Vielfaches höher ausgefallen wäre.
c) Die mit der geschilderten Art der Vermögensanrechnung einhergehende Bejahung der grossen Härte bewirkt, dass das mit der Rückerstattung verfolgte Ziel der Wiederherstellung der gesetzlichen Ordnung (vgl. Meyer-Blaser, a.a.O., S. 477) oftmals selbst dann unerreicht bleibt, wenn die rückerstattungspflichtige Person über geäufnete Mittel verfügt. Insofern sind die in der Verwaltungsgerichtsbeschwerde vorgetragenen Bedenken begründet. Die bisherige Praxis verkennt namentlich, dass sich die finanzielle Situation in der Regel grundsätzlich anders gestaltet, wenn neben den laufenden Einkünften zusätzliche Mittel vorhanden sind, welchem Umstand bei der nach den gesamten wirtschaftlichen Verhältnissen des Rückerstattungspflichtigen vorzunehmenden Beurteilung der Zumutbarkeit der Rückerstattung Rechnung zu tragen ist (vgl. <ref-ruling> Erw. 3b). Darüber hinaus führt sie im Ergebnis zu einer unhaltbaren Bevorteilung jener Versicherter, die nach der Festsetzung ihres Ergänzungsleistungsanspruchs in den Genuss rückwirkend ausgerichteter zusätzlicher Leistungen gelangen. Würden nämlich diese Versicherungsleistungen - statt aufs Mal - fortlaufend ausgerichtet, käme es zur entsprechenden Anpassung der Ergänzungsleistungen (Art. 25 ELV) und damit nicht zu einer eigentlichen Überentschädigung, während bei unterbliebener Meldung (Art. 24 ELV) ein Erlass mangels guten Glaubens in aller Regel ohnehin ausser Betracht fallen dürfte. Abgesehen davon lässt sich der vorliegende Fall aufgrund seiner Umstände in gewisser Hinsicht mit der zuvor geschilderten Verrechnungssituation vergleichen, bei der nach einem allgemeinen Grundsatz des Sozialversicherungsrechts (vgl. Erw. 5c) die Möglichkeit des Erlasses ausser Frage steht, wenn die zur Verrechnung gestellten Leistungen bereits ausbezahlt wurden. So beschlagen die von der Rentenanstalt rückwirkend ausbezahlten Invalidenleistungen immerhin denselben Zeitraum wie die der verfügten Rückerstattung unterliegenden Ergänzungsleistungen, deren Zweck an sich gerade darin bestand, den durch den zeitlichen Aufschub der Invalidenleistungen entstandenen Ausfall zu decken.
d) Nach dem Gesagten ist die bisherige Rechtsprechung dahin zu präzisieren, dass die Rückerstattung im Falle rückwirkend ausgerichteter Rentennachzahlungen insoweit keine grosse Härte darstellen kann, als die aus den entsprechenden Nachzahlungen stammenden Mittel im Zeitpunkt, in dem die Rückzahlung erfolgen sollte (dazu <ref-ruling> Erw. 2a), noch vorhanden sind. Diese Präzisierung bezieht sich indes nur auf jene Fälle, in denen dem Versicherten im nachhinein zusätzliche Leistungen aus Ansprüchen zufliessen, die sich bezüglich ihrer zeitlichen Bestimmung mit dem vorangegangenen Ergänzungsleistungsbezug decken und dessen Unrechtmässigkeit erst zutage treten lassen. In allen anderen Fällen bleibt es bei der bisherigen Rechtsprechung, wonach allenfalls vorhandene Vermögenswerte bei der Prüfung der grossen Härte gemäss <ref-law> zu berücksichtigen sind."
4.2 Dem Beschwerdeführer wurden nachträglich für einen Zeitraum berufsvorsorgerechtliche Invalidenleistungen ausgerichtet, für den er Ergänzungsleistungen bezogen hatte. Die Nachzahlung durch die Vorsorgeeinrichtung für die Periode vom 13. Februar 2003 bis 31. März 2006 belief sich gemäss "Leistungsabrechnung berufliche Vorsorge" vom 10. Januar 2006 auf insgesamt Fr. 83'575.-, wobei dem Beschwerdeführer am 13. Januar 2006 ein Betrag von Fr. 63'247.- auf sein Bankkonto gutgeschrieben wurde. Die in der Zeitspanne vom 1. Februar 2003 bis 31. Januar 2006 zu Unrecht ausgerichteten Ergänzungsleistungen betrugen laut - unangefochten in Rechtskraft erwachsener - Rückforderungsverfügung der Beschwerdegegnerin vom 6. Februar 2006 Fr. 44'815.-.
4.2.1
4.2.1.1 Gemäss der vorstehend zitierten (und mehrfach bestätigten [vgl. u.a. Urteile P 33/06 vom 28. Mai 2007, E. 4.2, P 54/01 vom 18. Juni 2002, E. 4, C 425/00 vom 31. Mai 2001, E. 3, C 246/97 vom 30. Juli 1998, E. 4, C 117/95 vom 10. April 1997, E. 4b, und C 70/93 vom 21. Februar 1997, E. 4]) Rechtsprechung ist mit Bezug auf den die EL-Ausrichtung ab 13. Februar 2003 betreffenden - die Nachzahlung der Vorsorgeeinrichtung deutlich unterschreitenden - Rückforderungsbetrag eine grosse Härte zu verneinen und fällt ein Erlass ausser Betracht, soweit der Versicherte im Zeitpunkt, als ihm die Rückerstattungsverfügung vom 6. Februar 2006 zugestellt wurde, noch über Mittel aus der vorsorgerechtlichen Nachzahlung verfügte. Dies ist in casu zu bejahen, liess der Beschwerdeführer den betreffenden Betrag doch Mitte März 2006 auf ein auf seinen Namen lautendes Vorsorgekonto der Raiffeisen Vorsorgestiftung transferieren. Es ist deshalb von ihm zu verlangen, dass er die entsprechenden, ihm nachträglich zugeflossenen Leistungen für die Rückerstattung der zu Unrecht bezogenen EL-Betreffnisse verwendet. Steht die Frage des Erlasses jedenfalls für die sich auf die Zeitspanne vom 13. Februar 2003 bis 31. Januar 2006 beziehende Rückforderungssumme somit ausser Frage, bedarf es der in alt<ref-law> statuierten Berechnung entgegen der Betrachtungsweise des Beschwerdeführers nicht.
4.2.1.2 Die dagegen letztinstanzlich vorgebrachten Einwendungen vermögen, soweit nicht bereits durch das kantonale Gericht entkräftet, zu keinem abweichenden Ergebnis zu führen. Sofern der Beschwerdeführer die Anwendbarkeit der mit <ref-ruling> präzisierten Rechtsprechung zur Erlassfrage auf den vorliegenden Fall mit dem Argument verneint, es habe sich dabei um rückwirkend ausgerichtete Leistungen der Eidgenössischen Invalidenversicherung und nicht um solche der beruflichen Vorsorge gehandelt, ist ihm entgegenzuhalten, dass dem zitierten Urteil ebenfalls nachträglich zugesprochene vorsorgerechtliche Invalidenleistungen zugrunde lagen. Einem Heranziehen der betreffenden Grundsätze steht somit nichts im Wege, zumal die damals für die Präzisierung der Rechtsprechung wegleitenden, hievor detailliert wiedergegebenen Überlegungen auch für den hier zu beurteilenden Sachverhalt vollumfänglich gelten. Entgegen den Vorbringen des Beschwerdeführers geht alsdann aus <ref-ruling> nicht hervor, dass die darin präzisierten Grundsätze zur Erlassfrage nur bei Vorliegen einer "eindeutigen Verrechnungslage" zur Anwendung gelangten. Vielmehr wird zunächst in E. 5c des Urteils (S. 226) die durch die Rechtsprechung entwickelte Einschränkung des Anwendungsbereichs des Erlasses (namentlich betreffend die Berücksichtigung der Vermögenslage) in einer besonderen Verrechnungskonstellation dargelegt. In E. 6c (S. 227 f.) hat das Gericht sodann - als weiteres Begründungselement für die Präzisierung der Erlasspraxis - angeführt, dass sich der vorliegend zu beurteilende Fall auf Grund seiner Umstände "in gewisser Weise mit der zuvor geschilderten Verrechnungssituation vergleichen" lasse, indem die von der Vorsorgeeinrichtung rückwirkend ausbezahlten Invalidenleistungen immerhin denselben Zeitraum wie die der verfügten Rückerstattung unterliegenden Ergänzungsleistungen beschlügen, deren Zweck an sich gerade darin bestanden habe, den durch den zeitlichen Aufschub der Invalidenleistungen entstandenen Ausfall zu decken. Dass die Anwendung der mit <ref-ruling> präzisierten Rechtsprechung regelmässig die Prüfung der spezifischen Verrechnungsvoraussetzungen bedingte (vgl. dazu <ref-ruling> E. 6.4.3.1 S. 143 f. mit Hinweisen; RKUV 2006 Nr. KV 379 S. 325, E. 5.1.2 mit Hinweisen, K 72/05), ergibt sich daraus nicht und wurde, soweit aus den in E. 4.2.1.1 hievor aufgeführten Urteilen erkennbar, denn auch bis anhin nicht als erforderlich angesehen. Nähere Ausführungen insbesondere zur vom Beschwerdeführer geltend gemachten sachlichen Inkongruenz betreffend die nachgezahlten BVG-Kinderinvalidenrentenbetreffnisse erübrigen sich daher. Anzufügen bleibt in diesem Zusammenhang einzig, dass die Verrechnung von fälligen BVG-Leistungen grundsätzlich zulässig ist und sich gerade in Fällen von Rückerstattungsansprüchen als bedeutsam erweist (<ref-ruling> E. 6.1.1 S. 136 in fine; Hans-Ulrich Stauffer, Berufliche Vorsorge, Zürich/Basel/Genf 2005, Rz. 924). Selbst wenn im Übrigen die besagten vorsorgerechtlichen Kinderrentenleistungen von total Fr. 6776.- (vgl. "Leistungsabrechnung berufliche Vorsorge" vom 10. Januar 2006) von der gesamten Nachzahlungssumme von Fr. 63'247.- abgezogen würden, verbliebe ein die Rückerstattungsforderung (in Höhe von Fr. 44'815.-) deutlich übersteigender Betrag. Ebenfalls nichts zu seinen Gunsten ableiten kann der Beschwerdeführer ferner aus der Tatsache, dass er das Guthaben aus der Nachzahlung am 15. März 2006 auf ein Vorsorgekonto der Raiffeisen Vorsorgestiftung überweisen liess. Entgegen der von ihm vertretenen Betrachtungsweise handelt es sich bei den rückwirkend entrichteten Leistungen nicht um zweckgebundene "Pensionsgelder" im Sinne einer Freizügigkeitsleistung, über welche nur in engen Schranken verfügt werden könnte (vgl. Art. 5 FZG). Vielmehr erfolgte die Nachzahlung des betreffenden Betrages durch die Vorsorgeeinrichtung auf Grund des Eintritts des Vorsorgefalles Invalidität (nach Art. 1 in Verbindung mit Art. 23 ff. BVG; siehe auch Urteil B 2/04 vom 6. Juni 2005), über welchen der Leistungsempfänger grundsätzlich frei disponieren kann. Dass die entsprechende Geldsumme nach Aussage des Beschwerdeführers infolge einer vertraglichen Amortisationspflicht für die Rückzahlung der sich auf seiner Liegenschaft befindenden zweiten Hypothek eingesetzt wurde, ändert am vorstehenden Ergebnis nichts, weshalb sich zusätzliche Abklärungen im Sinne der beantragten amtlichen Erkundigungen bei der betroffenen Bank zum Charakter der vertraglichen Vereinbarung erübrigen und auch vom kantonalen Gericht nicht vorgenommen werden mussten. Würde anders entschieden, führte dies hinsichtlich der Erlassvoraussetzung der grossen Härte zu einer unhaltbaren Bevorteilung derjenigen rückerstattungspflichtigen Versicherten, welche - in Kenntnis der Rückforderung - die aus den entsprechenden Nachzahlungen stammenden Mittel im Rahmen vertraglicher Verpflichtungen raschmöglichst anderweitig einzubinden trachten, um diese sodann als im Zeitpunkt, in dem die Rückzahlung erfolgen sollte, nicht mehr vorhanden bzw. verfügbar zu deklarieren.
4.2.2 Demgegenüber deckt sich die Nachzahlung der vorsorgerechtlichen Invalidenleistungen hinsichtlich ihrer zeitlichen Bestimmung insoweit nicht mit der EL-Rückforderung, als diese im Zeitraum vom 1. bis 12. Februar 2003 ausgerichtete Ergänzungsleistungen betrifft. Die beschriebene Erlasspraxis gelangt auf den diesbezüglichen Anteil des Rückforderungsbetrags (Fr. 462.- [Fr. 1078.- : 28 x 12; vgl. Rückforderungsverfügung der Beschwerdegegnerin vom 6. Februar 2006]) somit - mangels zeitlicher Kongruenz (<ref-ruling> E. 6d S. 228) - nicht zu Anwendung, weshalb eine Prüfung der grossen Härte nach Massgabe der in alt<ref-law> vorgesehenen Berechnungsmethodik angezeigt ist. Die Sache wird zu diesem Zweck an die Beschwerdegegnerin zurückgewiesen.
5. Das Verfahren ist kostenpflichtig (<ref-law>). Der Erlass der Rückforderung zu Unrecht erbrachter Leistungen gilt nicht als Streitigkeit über Sozialversicherungsleistungen nach <ref-law> (Urteil 8C_391/2008 vom 14. Juli 2008, E. 5 mit diversen Hinweisen auf Rechtsprechung und Literatur). Deshalb gelangt der allgemeine, streitwertabhängige Tarif (<ref-law>; Tarif über die Gerichtsgebühren im Verfahren vor Bundesgericht [SR 173.110.210.1], Ziff. 1) zur Anwendung. Mit Blick auf den Streitwert sind die Gerichtskosten auf Fr. 3500.- festzusetzen. Da der Beschwerdeführer nur in äusserst geringem Masse obsiegt (rund ein Hundertstel des Streitwertes), rechtfertigt sich weder eine Reduktion der ihm aufzuerlegenden Gerichtskosten zulasten der Beschwerdegegnerin noch die Zusprechung einer Parteientschädigung.

Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde werden der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 29. Januar 2008 und der Einspracheentscheid der Ausgleichskasse des Kantons Solothurn vom 4. Mai 2006, soweit die Erlassfrage bezüglich des Rückforderungsbetrags in Höhe von Fr. 462.- betreffend, aufgehoben, und es wird die Sache an die Ausgleichskasse des Kantons Solothurn zurückgewiesen, damit sie über die Erlassfrage in diesem Umfang neu befinde. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 3500.- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. Oktober 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Fleischanderl