Sachverhalt:
A. Mit öffentlich beurkundetem Kaufvertrag vom 22. April 1998 erwarb Z._ das Grundstück Nr. xxx an der Strasse B._ in A._ (nachfolgend Grundstück) und wurde als Eigentümer im Grundbuch eingetragen. Z._ verstarb am 4. März 2006. Er hinterlässt vier erwachsene Söhne, nämlich S._, T._, U._ und X._.
Mit Sohn X._ schloss Z._ am 27. Mai 1999 eine schriftliche Vereinbarung ab (nachfolgend Vereinbarung), wobei die Echtheit der Unterschriften notariell beglaubigt wurde. Diese Vereinbarung hielt unter anderem fest, dass X._ den für das Grundstück entrichteten Kaufpreis von Fr. 350'000.-- im Umfang von Fr. 70'000.-- mit eigenen Mitteln sowie durch Aufnahme einer Hypothek in der Höhe von Fr. 280'000.-- getilgt habe. Der Kauf des Grundstücks sei "fiduziarisch" für X._ erfolgt, welcher "wirtschaftlicher Eigentümer" des Grundstücks sei und bleibe. Sohn X._ habe sämtliche Investitionen und Umbaukosten finanziert und übernehme die laufenden Hypothekarkosten. In Ziffer 6 der Vereinbarung heisst es weiter:
"Im Falle eines Todes von Herrn Z._ wird festgehalten, dass das Grundstück und die Investitionen X._ gehören und nicht zum Erbe gehören und auszugleichen sind. X._ ist jederzeit berechtigt, von seinem Vater Z._ oder dessen Erben das Grundstück zum Preise von Fr. 350'000.-- gegen Übernahme der Hypothekarschuld zurückzunehmen."
Am 12. Mai 2003 schloss Z._ mit X._ einen öffentlich beurkundeten Erbverzichtsvertrag ab. Darin heisst es zunächst unter Buchstabe A, Z._ sei Eigentümer des vorgenannten Grundstückes, das von X._ als Wohnstätte benutzt werde. Unter Buchstabe B Ziffer 1 wird sodann ausgeführt, X._ habe in den Neunzigerjahren von Z._ einen Betrag von Fr. 204'000.-- erhalten, welcher als Erbvorbezug anzurechnen sei. Buchstabe B Ziffer 2 sieht ausserdem Folgendes vor:
"X._ verzichtet für sich und seine allfälligen Nachkommen definitiv auf sämtliche weiteren erbrechtlichen Ansprüche, d.h. auf sein gesetzliches Erb- und Pflichtteilsrecht, im Nachlass seines Vaters Z._ unter folgenden Voraussetzungen und Bedingungen, dass
a) seine Brüder S._, T._ und U._ das EFH [Einfamilienhaus] in A._ nach dem Ableben von Z._ zu Eigentum zu gleichen Teilen übernehmen und ihm das Recht einräumen, auf seine Lebzeit hin, sofern er nicht aus freien Stücken diese Liegenschaft für immer verlässt, darin wohnen zu dürfen; [...]."
Unter Buchstabe B Ziffer 3 heisst es schliesslich:
"Dieser Erbverzicht ist unter der Bedingung unwiderruflich, dass vorstehende Ziffer 2 sowohl von X._ als auch von seinen Brüdern eingehalten und erfüllt wird, und betrifft ausdrücklich auch den Verzicht, bei der Erbteilung von Z._ Ansprüche auf Ausgleichung und/oder Herabsetzung gegenüber seinen Brüdern geltend zu machen."
Ebenfalls am 12. Mai 2003 errichtete Z._ eine öffentlich beurkundete letztwillige Verfügung, in welcher er unter Hinweis auf den mit X._ abgeschlossenen Erbverzichtsvertrag seine drei anderen Söhne bei der gesamten Erbteilung für gleichberechtigt erklärte. Unter ihnen sei die Erbteilung in Beachtung und Erfüllung des mit Sohn X._ abgeschlossenen Erbverzichtsvertrages gemäss Gesetz durchzuführen; allfällige bereits früher errichtete letztwillige Verfügungen seien mit der vorliegenden Verfügung aufgehoben.
Nach dem Tod von Z._ in A._ eröffnete das Amtsnotariat Rheintal-Werdenberg-Sarganserland den Erben am 4. September 2006 sowohl das Testament wie auch den am 12. Mai 2003 abgeschlossenen Erbverzichtsvertrag. Am 18. Oktober 2007 entwarf es einen amtlichen Teilungsvertrag, welcher S._, T._ und U._ als Erben aufführt und ihnen das Grundstück zu je einem Drittel zu Eigentum überträgt.
Am 28. September bzw. 1. November 2007 klagte X._ gegen S._, T._ und U._ vor dem Bezirksgericht Imboden/GR auf Zahlung von Fr. 663'470.-- (zuzüglich Zinsen).
B. Mit Urteil vom 16. Juni 2009 hiess das Bezirksgericht Imboden die Klage teilweise gut und verpflichtete die Beklagten, dem Kläger unter solidarischer Haftung den Betrag von Fr. 216'000.-- (zuzüglich Zinsen) zu bezahlen.
Mit Urteil vom 16. Februar 2010 wies das Kantonsgericht Graubünden die Berufung von X._ ab; die Berufungen von S._, T._ und U._ hiess es indessen gut, hob das vorinstanzliche Urteil auf und wies die Klage ab.
C. Mit Beschwerde in Zivilsachen vom 18. Oktober 2010 gelangt X._ (nachfolgend Beschwerdeführer) an das Bundesgericht und beantragt im Wesentlichen die Aufhebung des vorinstanzlichen Entscheids sowie die Verurteilung von S._, T._ und U._ (nachfolgend Beschwerdegegner) zur Bezahlung von Fr. 530'000.-- (zuzüglich Zinsen). Der Beschwerdeführer verlangt sodann die Gewährung der unentgeltlichen Rechtspflege im Verfahren vor Bundesgericht unter Beiordnung von Rechtsanwalt Andreas A. Oehler. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer Fr. 30'000.-- übersteigenden vermögensrechtlichen Zivilsache. Die Beschwerde ist somit grundsätzlich zulässig (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG).
Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (<ref-law>). Es kann somit eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.1 S. 104).
2. Das Bezirksgericht Imboden kam vorliegend zum Schluss, der Erbverzichtsvertrag ändere am Bestand der "fiduziarischen" Abrede gemäss Ziffer 6 der Vereinbarung vom 27. Mai 1999 nichts, auch wenn der Erblasser in Ziffer 4 der letztwilligen Verfügung erklärte, sämtliche möglicherweise bereits früher von ihm errichteten letztwilligen Verfügungen seien aufgehoben. Bei der Vereinbarung vom 27. Mai 1999 handle es sich um einen Vertrag unter Lebenden und nicht von Todes wegen. Der Kläger mache zu Recht geltend, "dass der gegenüber Z._ bestehende Rückerstattungsanspruch mit dessen Tod auf die Erben übergegangen sei und als Passivum den Nachlass belaste". Dieser Rückerstattungsanspruch entspreche dem amtlich geschätzten Verkehrswert des Grundstücks abzüglich Hypothekarkosten, nämlich Fr. 216'000.-- (Fr. 496'000.-- abzüglich Fr. 280'000.--). In diesem Umfang hiess es die Klage gut. Der vom Kläger geltend gemachte höhere Verkehrswert sei mangels ausreichender Substantiierung indes unbeachtlich.
Demgegenüber befand das Kantonsgericht Graubünden, der Erbverzichtsvertrag habe sehr wohl einen Einfluss auf die fiduziarische Abrede gehabt; diese sei mit dem Erbverzichtsvertrag hinfällig geworden. Selbst wenn dies nicht der Fall gewesen wäre, lasse sich aus der fiduziarischen Abrede keine Entschädigungspflicht herleiten. Dies alles ergebe sich aus der Auslegung von Vereinbarung, Erbverzichtsvertrag sowie letztwilliger Verfügung. Diese vorinstanzliche Auslegung beanstandet der Beschwerdeführer als bundesrechtswidrig.
3. Vorliegend streitig ist das Verständnis von Ziffer 6 der Vereinbarung vom 27. Mai 1999. Im Wortlaut lautet die Klausel wie folgt:
"Im Falle des Todes von Herrn Z._ wird festgehalten, dass das Grundstück und die Investitionen somit wirtschaftlich X._ gehören und nicht zum Erbe gehören und auszugleichen sind. X._ ist jederzeit berechtigt, von seinem Vater Z._ oder dessen Erben das Grundstück zum Preise von Fr. 350'000.-- gegen Übernahme der Hypothekarschuld zurückzunehmen."
Vorab ist auf Folgendes hinzuweisen: In Ziffer 6 Satz 2 ist sinngemäss von einem Kaufsrecht die Rede (wobei das Wort "zurückzunehmen" insofern unpräzis ist, als Sohn X._ nie Eigentümer war). Da das fragliche Kaufsrecht vorliegend am Formmangel der fehlenden öffentlichen Beurkundung leidet, erweist es sich ohne weiteres als nichtig (<ref-law> i.V.m. Art. 11 und Art. 20 OR), was beiden Vorinstanzen entgangen ist. Daraus erhellt, dass sich der streitige Abgeltungsanspruch zum vornherein nicht mit einem wie auch immer gearteten Zusammenhang zum besagten Kaufsrecht begründen lässt.
Als Anspruchsgrundlage dient dem Beschwerdeführer vorliegend das Wort "auszugleichen" gemäss Satz 1 von Ziffer 6. Dazu bemerkt er, dass diese Ziffer 1 "für Juristen leicht unbeholfen wirken" möge, "durch die Brille von Nichtjuristen betrachtet" jedoch "klar" sei.
Nachdem ein tatsächlicher Wille von der Vorinstanz nicht festgestellt wurde und vor Bundesgericht keine diesbezüglichen Sachverhaltsrügen erhoben wurden (vgl. <ref-law>), gilt es, die streitige Vertragsklausel nach dem Vertrauensprinzip auszulegen (<ref-law>), wobei den Beschwerdeführer auch hierfür grundsätzlich eine Begründungspflicht trifft (<ref-law>).
In der Beschwerdeschrift wird dazu präzisiert (Beschwerdeschrift, S. 4): "Die Möglichkeit, die Übereignung an den treugebenden Beschwerdeführer zu veranlassen, hätte im Umkehrschluss zum ersten Satz von Ziffer 6 der Treuhandvereinbarung zwar zugunsten des Vaters bestanden; sie sollte aber nach dessen Tod zugunsten der ihn Beerbenden nicht weiterbestehen. Die Brüder sind gemäss klarer Formulierung im ersten Satz von Ziffer 6 zur Abgeltung verpflichtet (...)." Es werde mit anderen Worten "auf den Tod des Treuhänders hin die Verpflichtung von dessen Erben statuiert [...], die wirtschaftliche Berechtigung des Beschwerdeführers unter Aufrechterhaltung des formellen Eigentums der übrigen Erben abzugelten". Und weiter: "Es ging ihm [dem Beschwerdeführer] um eine möglichst gute Absicherung, weshalb für den Nachlassfall in Satz 1 von Ziffer 6 sogar ein Geldanspruch zulasten der Brüder anstelle des Eigentumsverschaffungsrechts vereinbart wurde."
Es ist somit - gemäss Darstellung des Beschwerdeführers - nicht von einer bereits zu Lebzeiten gegenüber dem Vater bestehenden Geldforderung mit Fälligkeitsaufschub auf dessen Todesfall hin die Rede. Eine solche wäre ein Geschäft unter Lebenden und würde im Todesfall zu einem Nachlasspassivum. Vielmehr geht der Beschwerdeführer von folgendem Konstrukt aus: Vater und Sohn X._ vereinbaren, dass der Sohn im Todesfall des Vaters eine Forderung gegenüber den Erben erwirbt. Solches ist als Verfügung von Todes wegen zu betrachten und hat den einschlägigen Formvorschriften zu entsprechen. Da diese vorliegend nicht eingehalten wurden, entfällt diese Anspruchsgrundlage allein schon deswegen. Selbst wenn die Formvorschriften eingehalten worden wären, wäre die Verfügung im Zuge des nachfolgend zwischen den gleichen Parteien abgeschlossenen Erbverzichtsvertrages ohnehin nachträglich wieder dahin gefallen.
Die streitige Vertragsklausel enthält zudem - entgegen den Behauptungen des Beschwerdeführers - keinerlei Hinweis darauf, dass das Kaufsrecht nach dem Tod des Vaters nicht mehr ausgeübt werden könne, ganz im Gegenteil: in der fraglichen Klausel ist sogar ausdrücklich davon die Rede, dass das Kaufsrecht "jederzeit" nicht nur gegenüber dem Vater, sondern auch gegenüber "dessen Erben" ausgeübt werden könne. Dass der Abgeltungsanspruch an Stelle des nicht mehr ausübbaren Kaufsrechts tritt, scheitert überdies bereits daran, dass das Kaufsrecht, wie dargelegt, zufolge Formnichtigkeit gar nie bestanden hat.
Würde man indes - wie dies der Beschwerdeführer implizit behauptet - von einem Geschäft unter Lebenden ausgehen, handelte es sich vorliegend um einen unzulässigen Vertrag zu Lasten Dritter: Zwei Personen können im Rahmen eines Geschäfts unter Lebenden nicht vereinbaren, dass dadurch eine Forderung gegenüber einer Drittperson entsteht. Ein solches Konstrukt kennt das schweizerische Recht nicht (wobei die "Vertrag zu Lasten Dritter" lautende Marginalie zu <ref-law> insofern unpräzis ist, als damit lediglich der Garantievertrag gemeint ist). Eine solche Rechtsfigur verstiesse überdies gegen den Grundgedanken der Privatautonomie (vgl. im Übrigen auch schon den römischrechtlichen Grundsatz "Alteri stipulari nemo potest"; Ulp. D. 45, 1, 38, 17). Auch insofern erweist sich der geltend gemacht Anspruch als inexistent.
Das schweizerische Sachenrecht kennt zudem kein wirtschaftliches Eigentum. Soweit in Ziffer 6 Satz 1 davon die Rede ist, dass X._ wirtschaftlicher Eigentümer von Grundstück und Investitionen sei, kann dem keinerlei rechtliche Bedeutung zukommen; und für etwas, das es rechtlich nicht gibt, kann im Lichte des Vertrauensprinzips auch kein Ausgleich geschuldet sein.
Zusammenfassend ist festzuhalten, dass der Sinn von Ziffer 6 Satz 1 auch im Zuge der Auslegung letztlich im Dunkeln bleibt und - entgegen der Darstellung des Beschwerdeführers - jedenfalls keine taugliche Anspruchsgrundlage für die eingeklagte Forderung bildet.
4. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Der Beschwerdeführer wird damit kostenpflichtig (<ref-law>). Wie die vorstehenden Erwägungen zeigen, muss die Beschwerde als von Anfang an aussichtslos bezeichnet werden, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist. Den Beschwerdegegnern ist keine Parteientschädigung zuzusprechen, da sie nicht zur Vernehmlassung eingeladen wurden und ihnen kein entschädigungspflichtiger Aufwand entstanden ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. Januar 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Schwander