Sachverhalt:
A. X._ und Y._ kauften mit Vertrag vom 14. Juli 2004 von A._, ihrem Vater, und C.B._, ihrer Tante, je 1⁄2 Miteigentum am Grundstück xy._. Im Vertrag wurde unter anderem vereinbart, dass C.B._ den Käufern ein Darlehen von Fr. 225'000.-- gewähre, dessen Rückzahlung ausserhalb des Kaufvertrages geregelt werde. In den Folgejahren erliessen C.B._ und ihr Ehemann den Neffen jährlich einen Betrag von Fr. 13'000.-- schenkungshalber.
B. Mit Veranlagung vom 10. Juli 2009 erhob das Steueramt des Kantons Solothurn von Y._ und X._ je eine Schenkungssteuer von Fr. 20'346.05. Die gegen diese Veranlagungen namens Y._ und X._ erhobene Einsprache des Ehepaares B._ wies das Steueramt des Kantons Solothurn ab, im Wesentlichen mit der Begründung, es liege eine Steuerumgehung vor. Zudem könnten sich die Einsprecher nicht auf den Grundsatz von Treu und Glauben berufen. Den gegen den Einspracheentscheid erhobenen Rekurs wies das Steuergericht des Kantons Solothurn am 25. Oktober 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 13. Dezember 2010 beantragen X._ und Y._, das Urteil des Steuergerichts des Kantons Solothurn vom 25. Oktober 2010 aufzuheben.
Das Steueramt und das Steuergericht des Kantons Solothurn beantragen die Abweisung der Beschwerde, soweit darauf einzutreten ist.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Endentscheid in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist daher zulässig (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Die Beschwerdeführer sind zur Beschwerde legitimiert (<ref-law>), weshalb auf das form- und fristgerecht eingereichte Rechtsmittel einzutreten ist.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht mit Einschluss des Bundesverfassungsrechts gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und es wendet das Recht von Amtes wegen an (<ref-law>). Indessen prüft es die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
2. 2.1 Nach § 1 Abs. 2 des solothurnischen Gesetzes vom 1. Dezember 1985 (StG/SO; BGS 614.11) erhebt der Staat unter anderem eine Schenkungssteuer. Der Steuer unterliegen gemäss § 233 Abs. 1 StG/SO alle Zuwendungen unter Lebenden, mit denen der Empfänger aus dem Vermögen eines anderen ohne entsprechende Gegenleistung bereichert wird. Der Steueranspruch entsteht im Zeitpunkt des Vollzugs der Schenkung (§ 237 StG/SO, 1. Teilsatz). Für die Bewertung der Aktiven und Passiven ist der Zeitpunkt massgebend, in dem der Steueranspruch entsteht (§ 238 Abs. 1 StG/SO). Von jeder Zuwendung werden Fr. 14'100.-- abgezogen (§ 239 Abs. 2 StG/SO in der Fassung vom 24. Januar 2005, in Kraft ab 1. Januar 2006; in den Jahren 2004 und 2005 betrug der Abzug Fr. 13'100.--).
2.2 Vorliegend machen die Beschwerdeführer geltend, die Eheleute B._ hätten ihnen jährlich einen Betrag von je Fr. 13'000.-- vom Kaufpreisdarlehen von Fr. 225'000.-- schenkungsweise erlassen. Jährliche Schenkungen an den gleichen Empfänger seien unabhängig von Absicht oder Motiv des Schenkers bis zur Höhe des Freibetrages von der Schenkungssteuer ausgenommen. Die genannten Beträge seien daher gemäss § 239 Abs. 2 StG/SO von der Schenkungssteuer ausgenommen.
2.3 Das Steuergericht hat angenommen, nach dem wirklichen Willen der Parteien sei der Erlass des Darlehens schon beim Vertragsabschluss vom 14. Juli 2004 vereinbart worden. Dem Darlehensvertrag sei keine wirkliche rechtsgeschäftliche Bedeutung zugekommen. Es habe sich beim Darlehen von Fr. 225'000.-- um ein simuliertes Rechtsgeschäft gehandelt. Das Steuergericht erblickte somit im jährlichen Erlass eines Teils des Darlehensbetrages nicht eigenständige Schenkungen beweglichen Vermögens, sondern erkannte auf eine einzige Schenkung im Zusammenhang mit der Übertragung der Liegenschaft.
Diese Feststellung der Vorinstanz ist nicht zu beanstanden. Sie hat dargelegt, das Ehepaar B._ habe von Anfang an die Absicht verfolgt, den Beschwerdeführern das Kaufpreisdarlehen zu erlassen, mithin den anteiligen Kaufpreis für die übertragene Liegenschaft zu schenken. Man sei lediglich auf der Suche gewesen, wie dies möglichst steuergünstig bewerkstelligt werden solle. Die Vorinstanz weist zu Recht darauf hin, dass sich gemäss <ref-law> der Darleiher durch den Darlehensvertrag dazu verpflichtet, dem Borger Eigentum an einer Summe Geld zu übertragen, und der Borger sich seinerseits zur Rückerstattung des geborgten Betrages verpflichtet. Sie hat deshalb aufgrund der festgestellten Sachlage zu Recht geschlossen, das angebliche Darlehen sei bloss simuliert gewesen und in Wirklichkeit sei von Anfang an eine Schenkung beabsichtigt gewesen, ist doch nach <ref-law> bei der Beurteilung eines Vertrages sowohl nach Form als nach Inhalt der übereinstimmende wirkliche Wille und nicht die unrichtige Bezeichnung oder Ausdrucksweise zu beachten, die von den Parteien aus Irrtum oder in der Absicht verwendet wird, die wahre Beschaffenheit des Vertrages zu verbergen. Die sich daraus ergebende zivilrechtliche Folge, wonach das simulierte Rechtsgeschäft als nichtig, das verdeckte hingegen als verbindlich gilt, ist auch im Steuerrecht massgebend.
Die vorliegend festgestellte, der Rechtsgestaltung zugrunde liegende Schenkungsabsicht für den gesamten anteiligen Kaufpreis wird von den Beschwerdeführern zu Recht nicht bestritten.
2.4 Ergibt sich demnach, dass der angebliche Darlehensvertrag als simuliert zu betrachten und eine Schenkung des partiellen Kaufpreises anzunehmen ist, so hat die Vorinstanz zu Recht die Erfassung dieser Schenkung mit der Schenkungssteuer geschützt. Bei diesem Ergebnis ist nicht weiter auf die Ausführungen der Vorinstanz einzugehen, wonach das Vorgehen im vorliegenden Fall als Steuerumgehung zu qualifizieren sei. Im Weiteren sind auch die Ausführungen der Beschwerdeführer zur Zulässigkeit des Erlasses einer Darlehensforderung mittels jährlichen Schenkungen nicht relevant. Im Masslichen ist die Berechnung der Vorinstanzen schliesslich nicht umstritten.
3. Zu prüfen bleibt demnach das Vorbringen der Beschwerdeführer, wonach die Erhebung der Schenkungssteuer vorliegend nach dem Grundsatz von Treu und Glauben unzulässig sei.
3.1 Der in <ref-law> verankerte Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in unrichtige Zusicherungen, Auskünfte, Mitteilungen oder Empfehlungen einer Behörde, wenn die Behörde in einer konkreten Situation mit Bezug auf bestimmte Personen gehandelt hat, die Behörde für die Erteilung der betreffenden Auskunft zuständig war, der Bürger die Unrichtigkeit der Auskunft nicht ohne Weiteres erkennen konnte, er im Vertrauen auf die Richtigkeit der Auskunft Dispositionen getroffen hat, die nicht ohne Nachteil rückgängig gemacht werden können, und die gesetzliche Ordnung seit der Auskunftserteilung keine Änderung erfahren hat (<ref-ruling> E. 6.1 S. 636 f.; Urteil 2C_45/2010 vom 4. Mai 2010 E. 2.2).
Als Folge der Bedeutung des Legalitätsprinzips im Abgaberecht ist der Vertrauensschutz in diesem Bereich jedoch praxisgemäss nur mit Zurückhaltung zu gewähren (<ref-ruling> E. 6.1 S. 637). Eine vom Gesetz abweichende Behandlung eines Steuerpflichtigen kann nur in Betracht fallen, wenn die Voraussetzungen des Vertrauensschutzes klar und eindeutig erfüllt sind. Einem Steuerpflichtigen darf aufgrund einer unrichtigen Auskunft oder einer bis anhin tolerierten gesetzwidrigen Behandlung nicht ein Vorteil erwachsen, der zu einer krassen Ungleichbehandlung führen würde (Urteil 2C_842/2009 vom 21. Mai 2010 E. 3.2 mit Hinweis).
3.2 Im vorliegenden Fall fehlt es am Nachweis, dass die für die Erteilung der betreffenden Auskunft zuständige Behörde, das heisst also das kantonale Steueramt, eine konkrete Zusicherung abgab, wonach die vom Ehepaar B._ vorgenommene Rechtsgestaltung zu keinen Schenkungssteuerfolgen führe.
Soweit sich die Beschwerdeführer auf Auskünfte und Stellungnahmen des damaligen Notars berufen, hat die Vorinstanz zu Recht festgehalten, dieser sei zur fraglichen Auskunftserteilung nicht zuständig gewesen. Im Kaufvertrag vom 14. Juli 2004 wird denn auch ausdrücklich festgehalten, allfällige Auskünfte über die steuerrechtlichen Folgen dieses Vertrages hätten die Parteien direkt bei der zuständigen Steuerbehörde einzuholen. Das Gleiche trifft zu, soweit sich die Beschwerdeführer auf eine angebliche Auskunft des Steueramtes Grenchen berufen, war doch dieses lediglich für die Veranlagung einer allfälligen Grundstückgewinnsteuer zuständig. Von einer Zuständigkeit auch für etwaige Schenkungssteuer konnte das Ehepaar B._ weder aufgrund des Schreibens des Notars vom 18. Juni 2010 ausgehen, noch aufgrund der Auskunft des Steueramtes Grenchen vom 7. November 2003, die sich klarerweise ausschliesslich auf die Grundstückgewinnsteuerveranlagung bezog. Das Steueramt Grenchen hielt denn auch mit Mail vom 15. Dezember 2009 fest, seine Zuständigkeit sei nur für die Berechnung der Grundstückgewinnsteuer gegeben gewesen, und die Beschwerdeführer zeigen nicht auf, dass sie von einer anderen Zuständigkeit ausgingen. Vielmehr ergibt sich aus dem Umstand, dass eine Kopie des Kaufvertragsentwurfes auch dem Steueramt Solothurn zugestellt wurde, dass sich die Parteien bzw. der von ihnen beauftragte Notar sehr wohl der Zuständigkeiten bewusst waren. Soweit die Beschwerdeführer schliesslich auf Äusserungen des Kantonalen Steueramtes, insbesondere der Nebensteuerabteilung, Bezug nehmen, ergeben sich ebenfalls keine Hinweise auf eine Auskunft, wonach die später vorgenommene Gestaltung der Rechtsgeschäfte keine schenkungssteuerlichen Folgen nach sich ziehen werde. In diesem Zusammenhang ist insbesondere zu beachten, dass bei der Zustellung einer Kopie des Kaufvertragsentwurfes durch den Notar an das Steueramt des Kantons Solothurn vom 7. Juni 2004, auf welche sich die Beschwerdeführer berufen, keinerlei Hinweise auf die vorgesehene gestaffelte Schenkung des Kaufpreises gemacht wurden.
Die Voraussetzungen für die Berufung auf den Grundsatz von Treu und Glauben sind demnach vorliegend nicht erfüllt.
4. Nach dem Ausgeführten erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unbegründet und ist abzuweisen.
Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 65 und Art. 66 Abs. 1 und 5 BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, dem Steueramt des Kantons Solothurn und dem Kantonalen Steuergericht Solothurn schriftlich mitgeteilt.
Lausanne, 5. Mai 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Zünd Dubs