Sachverhalt: A. X._ und Y._ kauften mit Vertrag vom 14. Juli 2004 von A._, ihrem Vater, und C.B._, ihrer Tante, je 1⁄2 Miteigentum am Grundstück xy._. Im Vertrag wurde unter anderem vereinbart, dass C.B._ den Käufern ein Darlehen von Fr. 225'000.-- gewähre, dessen Rückzahlung ausserhalb des Kaufvertrages geregelt werde. In den Folgejahren erliessen C.B._ und ihr Ehemann den Neffen jährlich einen Betrag von Fr. 13'000.-- schenkungshalber. B. Mit Veranlagung vom 10. Juli 2009 erhob das Steueramt des Kantons Solothurn von Y._ und X._ je eine Schenkungssteuer von Fr. 20'346.05. Die gegen diese Veranlagungen namens Y._ und X._ erhobene Einsprache des Ehepaares B._ wies das Steueramt des Kantons Solothurn ab, im Wesentlichen mit der Begründung, es liege eine Steuerumgehung vor. Zudem könnten sich die Einsprecher nicht auf den Grundsatz von Treu und Glauben berufen. Den gegen den Einspracheentscheid erhobenen Rekurs wies das Steuergericht des Kantons Solothurn am 25. Oktober 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 13. Dezember 2010 beantragen X._ und Y._, das Urteil des Steuergerichts des Kantons Solothurn vom 25. Oktober 2010 aufzuheben. Das Steueramt und das Steuergericht des Kantons Solothurn beantragen die Abweisung der Beschwerde, soweit darauf einzutreten ist.