Sachverhalt: A. Mit öffentlich beurkundetem Kaufvertrag vom 22. April 1998 erwarb Z._ das Grundstück Nr. xxx an der Strasse B._ in A._ (nachfolgend Grundstück) und wurde als Eigentümer im Grundbuch eingetragen. Z._ verstarb am 4. März 2006. Er hinterlässt vier erwachsene Söhne, nämlich S._, T._, U._ und X._. Mit Sohn X._ schloss Z._ am 27. Mai 1999 eine schriftliche Vereinbarung ab (nachfolgend Vereinbarung), wobei die Echtheit der Unterschriften notariell beglaubigt wurde. Diese Vereinbarung hielt unter anderem fest, dass X._ den für das Grundstück entrichteten Kaufpreis von Fr. 350'000.-- im Umfang von Fr. 70'000.-- mit eigenen Mitteln sowie durch Aufnahme einer Hypothek in der Höhe von Fr. 280'000.-- getilgt habe. Der Kauf des Grundstücks sei "fiduziarisch" für X._ erfolgt, welcher "wirtschaftlicher Eigentümer" des Grundstücks sei und bleibe. Sohn X._ habe sämtliche Investitionen und Umbaukosten finanziert und übernehme die laufenden Hypothekarkosten. In Ziffer 6 der Vereinbarung heisst es weiter: "Im Falle eines Todes von Herrn Z._ wird festgehalten, dass das Grundstück und die Investitionen X._ gehören und nicht zum Erbe gehören und auszugleichen sind. X._ ist jederzeit berechtigt, von seinem Vater Z._ oder dessen Erben das Grundstück zum Preise von Fr. 350'000.-- gegen Übernahme der Hypothekarschuld zurückzunehmen." Am 12. Mai 2003 schloss Z._ mit X._ einen öffentlich beurkundeten Erbverzichtsvertrag ab. Darin heisst es zunächst unter Buchstabe A, Z._ sei Eigentümer des vorgenannten Grundstückes, das von X._ als Wohnstätte benutzt werde. Unter Buchstabe B Ziffer 1 wird sodann ausgeführt, X._ habe in den Neunzigerjahren von Z._ einen Betrag von Fr. 204'000.-- erhalten, welcher als Erbvorbezug anzurechnen sei. Buchstabe B Ziffer 2 sieht ausserdem Folgendes vor: "X._ verzichtet für sich und seine allfälligen Nachkommen definitiv auf sämtliche weiteren erbrechtlichen Ansprüche, d.h. auf sein gesetzliches Erb- und Pflichtteilsrecht, im Nachlass seines Vaters Z._ unter folgenden Voraussetzungen und Bedingungen, dass a) seine Brüder S._, T._ und U._ das EFH [Einfamilienhaus] in A._ nach dem Ableben von Z._ zu Eigentum zu gleichen Teilen übernehmen und ihm das Recht einräumen, auf seine Lebzeit hin, sofern er nicht aus freien Stücken diese Liegenschaft für immer verlässt, darin wohnen zu dürfen; [...]." Unter Buchstabe B Ziffer 3 heisst es schliesslich: "Dieser Erbverzicht ist unter der Bedingung unwiderruflich, dass vorstehende Ziffer 2 sowohl von X._ als auch von seinen Brüdern eingehalten und erfüllt wird, und betrifft ausdrücklich auch den Verzicht, bei der Erbteilung von Z._ Ansprüche auf Ausgleichung und/oder Herabsetzung gegenüber seinen Brüdern geltend zu machen." Ebenfalls am 12. Mai 2003 errichtete Z._ eine öffentlich beurkundete letztwillige Verfügung, in welcher er unter Hinweis auf den mit X._ abgeschlossenen Erbverzichtsvertrag seine drei anderen Söhne bei der gesamten Erbteilung für gleichberechtigt erklärte. Unter ihnen sei die Erbteilung in Beachtung und Erfüllung des mit Sohn X._ abgeschlossenen Erbverzichtsvertrages gemäss Gesetz durchzuführen; allfällige bereits früher errichtete letztwillige Verfügungen seien mit der vorliegenden Verfügung aufgehoben. Nach dem Tod von Z._ in A._ eröffnete das Amtsnotariat Rheintal-Werdenberg-Sarganserland den Erben am 4. September 2006 sowohl das Testament wie auch den am 12. Mai 2003 abgeschlossenen Erbverzichtsvertrag. Am 18. Oktober 2007 entwarf es einen amtlichen Teilungsvertrag, welcher S._, T._ und U._ als Erben aufführt und ihnen das Grundstück zu je einem Drittel zu Eigentum überträgt. Am 28. September bzw. 1. November 2007 klagte X._ gegen S._, T._ und U._ vor dem Bezirksgericht Imboden/GR auf Zahlung von Fr. 663'470.-- (zuzüglich Zinsen). B. Mit Urteil vom 16. Juni 2009 hiess das Bezirksgericht Imboden die Klage teilweise gut und verpflichtete die Beklagten, dem Kläger unter solidarischer Haftung den Betrag von Fr. 216'000.-- (zuzüglich Zinsen) zu bezahlen. Mit Urteil vom 16. Februar 2010 wies das Kantonsgericht Graubünden die Berufung von X._ ab; die Berufungen von S._, T._ und U._ hiess es indessen gut, hob das vorinstanzliche Urteil auf und wies die Klage ab. C. Mit Beschwerde in Zivilsachen vom 18. Oktober 2010 gelangt X._ (nachfolgend Beschwerdeführer) an das Bundesgericht und beantragt im Wesentlichen die Aufhebung des vorinstanzlichen Entscheids sowie die Verurteilung von S._, T._ und U._ (nachfolgend Beschwerdegegner) zur Bezahlung von Fr. 530'000.-- (zuzüglich Zinsen). Der Beschwerdeführer verlangt sodann die Gewährung der unentgeltlichen Rechtspflege im Verfahren vor Bundesgericht unter Beiordnung von Rechtsanwalt Andreas A. Oehler. Es wurden keine Vernehmlassungen eingeholt.