definitive Eintragung eines Bauhandwerkerpfandrechts, hat sich ergeben: A.- A._ und B._, Miteigentümer je zur Hälfte der Parzelle Nr. ... in X._, liessen im Sommer 1999 eine unterirdische Garage erstellen. Die mit den Baumeisterarbeiten beauftragte D._ AG bezog bei der C._ AG den für die Baute benötigten Frischbeton. Die C._ AG lieferte gemäss den Spezifikationen und Vorgaben der Baumeisterin in der Zeit von Juni bis Ende Juli 1999 sowie vom 12. bis 21. Oktober 1999 Beton auf die Baustelle. Am 13. Januar 2000 ersuchte die C._ AG das Bezirksgericht Z._ um vorläufige Vormerkung eines Bauhandwerkerpfandrechts im Betrag von Fr. 35'465. 05. Mit Verfügung des Gerichtspräsidiums Z._ vom 17. Januar 2000 wurde diesem Begehren entsprochen und das Grundbuchamt Y._ angewiesen, zugunsten der Gesuchstellerin und zulasten des Grundstückes X._, Parzelle Nr. ..., für den Betrag von Fr. 35'465. 05 nebst Zins zu 5 % seit 9. November 2000 den vorläufigen Eintrag eines Bauhandwerkerpfandrechts vorzumerken. Am 10. März 2000 wurde über die D._ AG der Konkurs eröffnet. B.- Mit Urteil vom 7. September 2000 hiess das Bezirksgericht Z._ die Klage der C._ AG gegen die Grundeigentümer A._ und B._ gut und wies das Grundbuchamt Y._ an, das provisorisch vorgemerkte Bauhandwerkerpfandrecht zugunsten der C._ AG und zulasten von A._ und B._ im Umfang von Fr. 35'465. 05 nebst 5 % Zins seit 9. November 1999 definitiv einzutragen. Das Obergericht des Kantons Thurgau wies mit Urteil vom 6. März 2001 die Berufung von A._ und B._ ab und bestätigte das erstinstanzliche Urteil. C.- Mit eidgenössischer Berufung beantragen A._ und B._ dem Bundesgericht, das Urteil des Obergerichts des Kantons Thurgau vom 6. März 2001 aufzuheben und das Begehren der C._ AG um definitive Eintragung des provisorisch vorgemerkten Bauhandwerkerpfandrechts zugunsten der C._ AG auf dem Grundstück von A._ und B._, Grundbuch X._, Parzelle Nr. ..., im vollen Umfang von Fr. 35'465. 05 nebst Verzugszins abzuweisen. Eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Das Obergericht des Kantons Thurgau beantragt die Abweisung der Berufung. Eine Berufungsantwort ist nicht eingeholt worden.