Sachverhalt:
A. Mit Verfügungen vom 28. November 2008 setzte die Ausgleichskasse des Kantons Solothurn die der 1944 geborenen Rentenbezügerin Q._ ab 1. Dezember 2005 zustehenden Ergänzungsleistungen fest. Mit Verfügung vom 17. November 2009 stellte sie die Zahlung ab 1. Dezember 2009 ein. Am 5. November 2009 forderte sie bei der Versicherten für zu viel bezogene Ergänzungsleistungen in der Zeit vom 1. Januar bis 31. Oktober 2009 einen Betrag von 5'192 Franken (4 Monate zu 1'298 Franken) zurück. Diese Verfügung erwuchs unangefochten in Rechtskraft. Am 18. November 2009 ersuchte die Versicherte um Erlass der Rückforderung. Das Rückerstattungsgesuch lehnte die Ausgleichskasse mit Verfügung vom 18. Januar 2010 ab, was sie mit Einspracheentscheid vom 28. Juni 2010 bestätigte. Zur Begründung wurde erklärt, es fehle an der Erlassvoraussetzung des guten Glaubens.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 30. November 2010 ab.
C. Q._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und damit hauptsächlich die Aufhebung des vorinstanzlichen Entscheides beantragen sowie, an zweiter Stelle, die Anordnung der Rückzahlung von lediglich einer monatlichen Ergänzungsleistung.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden kann. Auch das Versicherungsgericht schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Die Beschwerde enthält keine ausdrücklichen Anträge, doch ergibt sich das Begehren klar aus der Begründung. Bei der Beurteilung, ob ein genügender Antrag vorliegt, stellt das Gericht nicht nur auf die förmlich gestellten Anträge ab. Das Begehren kann sich auch aus der Begründung ergeben (<ref-ruling> E. 1.2 S. 136; <ref-ruling> E. 4 S. 122; <ref-ruling> E. 1.4.1 S. 414; LAURENT MERZ, in: Basler Kommentar, Bundesgerichtsgesetz, 2008 N. 18 zu <ref-law>). Auf die Beschwerde ist in dieser Hinsicht daher einzutreten.
1.2 Gemäss <ref-law> ist die Beschwerde gegen Entscheide über die Stundung oder den Erlass von Abgaben unzulässig. Dieser Ausnahmegrund kommt hier jedoch nicht zum Tragen, da Rückerstattungsforderungen keine Abgaben im Sinne der genannten Bestimmung sind (SEILER/VON WERDT/GÜNGERICH, Bundesgerichtsgesetz [BGG], Bern 2007, N. 85 zu Art. 83; HÄBERLI, in: Basler Kommentar zum BGG, Basel 2008, N. 216 zu Art. 83; vgl. SVR 2008 KV Nr. 19 S. 71 E. 1.1, 9C_549/2007). Die Beschwerde ist damit auch in dieser Hinsicht zulässig.
1.3 In der Beschwerdeschrift wird sinngemäss unter anderem beantragt, das Bundesgericht habe die Rückzahlung von lediglich einem Monat Versicherungsleistungen anzuordnen, insbesondere weil die Rückerstattung von Fr. 5'192.- für die Beschwerdeführerin eine grosse Härte bedeuten würde. Auf diese Beschwerdebegehren ist nicht einzutreten, da die Verfügungen vom 17. November und vom 5. November 2009 betreffend Anspruch und Rückerstattung unangefochten in Rechtskraft erwachsen sind und nicht zum massgebenden Anfechtungsgegenstand gehören (<ref-ruling> E. 1.1 S. 502). Da die Erlassvoraussetzungen (guter Glaube, grosse Härte) kumulativ gegeben sein müssen, ist Letzte nicht zu prüfen, wenn es am guten Glauben fehlt.
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
3. 3.1 Das kantonale Gericht hat die Bestimmungen über den Erlass der Rückforderung zu Unrecht ausgerichteter Ergänzungsleistungen (<ref-law> und <ref-law> [anwendbar gemäss Art. 1 Abs. 1 ELG]) sowie die zu den inhaltsgleichen Vorgängernormen (Art. 27 Abs. 1 ELV in Verbindung mit <ref-law> und <ref-law>, jeweils in den bis Ende 2002 gültig gewesenen Fassungen) ergangene, weiterhin massgebende Rechtsprechung (<ref-ruling> E. 2c S. 103 mit Hinweisen) zutreffend dargelegt. Gleiches gilt für die vorinstanzlichen Erwägungen zur Pflicht der anspruchsberechtigten Person, Änderungen in den persönlichen oder wirtschaftlichen Verhältnissen sofort schriftlich zu melden (Art. 24 ELV). Darauf wird verwiesen. Richtig ist insbesondere, dass der für einen Erlass vorausgesetzte gute Glaube nicht schon bei Unkenntnis des Rechtsmangels gegeben ist, sondern auch dann ausscheidet, wenn sich die Leistungen beziehende Person einer groben Nachlässigkeit schuldig gemacht hat (<ref-ruling>).
3.2 Die Rechtsprechung unterscheidet zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen konnte oder bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen können. Während das Vorliegen oder Fehlen des Unrechtsbewusstseins zum inneren Tatbestand gehört und eine Tatfrage darstellt, welche durch das Bundesgericht nur im Rahmen von <ref-law> (E. 2 hiervor) überprüft werden kann, gilt die Frage nach der Anwendung der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223).
4. 4.1 Gemäss den für das Bundesgericht verbindlichen Feststellungen des kantonalen Gerichts hatte die Beschwerdeführerin der Ausgleichskasse nicht gemeldet, dass sie sich im Jahr 2009 länger als drei Monate im Ausland aufgehalten hatte. Bezüglich des Unrechtsbewusstseins hält die Vorinstanz ebenfalls verbindlich fest, die Unterlassung der Meldepflicht sei nicht vorsätzlich erfolgt und die Beschwerdeführerin habe den unrechtmässigen Bezug der Ergänzungsleistungen nicht absichtlich veranlasst. Damit bleibt - als Rechtsfrage - zu prüfen, ob die Beschwerdeführerin bei Anwendung der gebotenen Aufmerksamkeit hätte erkennen müssen, dass sie den Auslandaufenthalt zu melden hatte. Wie das kantonale Gericht verbindlich festgestellt hat, findet sich auf der Verfügung der IV-Stelle des Kantons Solothurn vom 4. Dezember 2008, worin der Beschwerdeführerin für die Zeit vom 1. Dezember 2005 bis 31. Oktober 2008 eine Invalidenrente zugesprochen worden war, ausdrücklich der Hinweis auf die Pflicht, sich insbesondere bei einem mehr als drei Monate dauernden Auslandaufenthalt bei der IV-Stelle zu melden. Dieser explizite Hinweis schliesst den guten Glauben insofern aus, als eine abweichende Beurteilung nur in Frage käme, wenn besondere Umstände vorliegen würden.
4.2 In der Beschwerdeschrift wird lediglich gerügt, der Auslandaufenthalt sei deswegen nicht gemeldet worden, weil die Beschwerdeführerin weder eine mündliche noch eine schriftliche Anweisung erhalten habe, die Ausgleichskasse vorgängig zu informieren, wenn sie die Schweiz verlassen würde. Da die Vorinstanz, jedoch, wie gesagt, bereits zutreffend erwogen hat, der Versicherten sei eine Verfügung der IV-Stelle zugestellt worden, aus welcher hervorgehe, dass sie bei einem Auslandaufenthalt dies zu melden habe, geht der Einwand fehl. Insgesamt wird mit der genannten Rüge nichts vorgebracht, weshalb die Verneinung des guten Glaubens Bundesrecht verletzen sollte. Aus Briefen der Beschwerdeführerin vom 21. September 2009 und vom 4. November 2009 wird überdies deutlich, dass sie sich der Verletzung der Meldepflicht durchaus bewusst war ("Frau Q._ ist sich bewusst, dass sie gegen das Reglement verstossen hat."). Somit muss sie sich den Vorwurf gefallen lassen, nicht das Mindestmass an Aufmerksamkeit aufgewendet zu haben, das von einem verständigen Menschen in gleicher Lage und unter den gleichen Umständen verlangt werden darf (vgl. SVR 2008 AHV Nr. 13 S. 41 E. 5.2, 9C_14/2007 und SVR 2007 EL Nr. 8 S. 19 E. 3, 8C_1/2007). Der Bezug der Ergänzungsleistungen während des Zeitraums vom 1. Januar bis 31. Oktober 2009 bzw. während vier Monaten in diesem Zeitraum kann deshalb unter dem Aspekt der zumutbaren Aufmerksamkeit nicht als gutgläubig gelten. Dementsprechend hat die Vorinstanz den Erlass der Rückforderung verweigert, ohne dadurch Bundesrecht zu verletzen.
5. Die Gerichtskosten werden der Beschwerdeführerin als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 800.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. März 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Scartazzini