Sachverhalt:
A. S._ erteilte am 6. August 2002 der T._ AG (T._), vertreten durch den einzelzeichnungsberechtigten Verwaltungsrat U._, eine Generalvollmacht zur Umfinanzierung bzw. Erhöhung der Hypotheken für seine Liegenschaft. Am 16. September 2002 unterzeichnete U._ im Namen der T._ eine Erklärung für die Errichtung eines Inhaberschuldbriefes, worin S._ bekannte, dem Inhaber des Schuldbriefes Fr. 410'000.-- zu schulden. Der Schuldbrief wurde (für die betreffende Summe nebst Kosten und 10% Höchstzins) am 18. September 2002 errichtet und vom Grundbuchamt an T._ bzw. an U._ ausgehändigt.
Am 20. März 2003 schlossen V._ und X._ im Beisein und unter Mitwirkung von U._ einen Kaufvertrag, mit welchem X._ den besagten Schuldbrief zu einem Preis von Fr. 260'000.-- von V._ erwarb. In Ziff. 4 des Vertrages erklärte V._, rechtmässiger Eigentümer und Inhaber des Schuldbriefes zu sein und von S._ die Erlaubnis zu dessen Platzierung zu haben. Sodann wurde V._ in Ziff. 6 eine Kaufoption für den Schuldbrief eingeräumt, und zwar für Fr. 300'000.-- mit einer Laufzeit von fünf Monaten. Am Tag des Vertragsschlusses quittierte V._, von X._ per Saldo aller Ansprüche Fr. 260'000.-- erhalten zu haben. Gemäss handschriftlichem Vermerk von V._ vom 19. Juli 2003 auf der Quittung soll X._ indes lediglich Fr. 200'000.-- geleistet haben.
B. Am 18. Dezember 2006 erwarb die Z._ AG (Z._) von S._ die mit dem Schuldbrief belastete Liegenschaft für Fr. 951'000.-- zu Eigentum. Der Kaufpreis wurde zum einen durch die Übernahme der Grundpfandschulden gegenüber der Bank Q._ getilgt. Zum anderen wurde Z._ für den dem besagten Schuldbrief entsprechenden Betrag von Fr. 410'000.-- seitens des Verkäufers ein zinsloses Darlehen gewährt, rückzahlbar innert 30 Tagen nach rechtskräftiger Erledigung des Rechtsstreites über den Schuldbrief. In diesem Zusammenhang wurde in Ziff. 4 des Kaufvertrages festgehalten, dass der Schuldbrief nicht greifbar sei, sondern sich nach Auffassung der Parteien widerrechtlich im Besitz des "Gläubigers" befinde und deshalb über den Bestand der Forderung aus dem Schuldbrief ein Rechtsstreit bestehe, in den die Käuferschaft als neue Eigentümerin anstelle der Verkäuferschaft eintrete.
Am 1. Juni 2007 wurde X._ seitens Z._ der Erwerb der Liegenschaft angezeigt und zur Herausgabe des Schuldbriefes aufgefordert.
C. Mit Vermittlungsbegehren vom 28. Juni 2007 reichte Z._ beim Kreispräsidenten Domleschg gegen X._ Klage auf Herausgabe des Schuldbriefes ein. Am 26. September 2007 prosequierte sie die Klage an das Bezirksgericht Hinterrhein. Mit Urteil vom 9. Dezember 2009 hiess dieses die Klage gut und verpflichtete X._ zur Herausgabe des Schuldbriefes an Z._. Die hiergegen erhobene Berufung wurde vom Kantonsgericht Graubünden mit Urteil vom 12. April 2010 (mitgeteilt am 17. August 2010) abgewiesen.
D. Gegen dieses Urteil hat X._ am 20. September 2010 eine Beschwerde in Zivilsachen erhoben, im Wesentlichen mit den Begehren um dessen Aufhebung und Abweisung der Herausgabeklage. Mit Präsidialverfügung vom 6. Oktober 2011 wurde der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. In der Sache selbst wurden keine Vernehmlassungen eingeholt. Auf das vom Beschwerdeführer parallel gestellte Revisionsbegehren trat das Kantonsgericht mit Urteil vom 24. September 2010 nicht ein; dieses bildet Gegenstand einer weiteren, am 11. November 2010 erhobenen Beschwerde in Zivilsachen (Verfahren Nr. 5A_794/2010), die ebenfalls heute entschieden wird.
Erwägungen:
1. Angefochten ist der kantonal letztinstanzliche Endentscheid in einer vermögensrechtlichen Zivilrechtsstreitigkeit mit Fr. 30'000.-- übersteigendem Streitwert (Art. 72 Abs. 1, Art. 74 Abs. 1 lit. b, Art. 75 Abs. 1 und Art. 90 BGG). Die Beschwerde in Zivilsachen steht damit offen.
Bei seinem Entscheid ist das Bundesgericht an den festgestellten Sachverhalt grundsätzlich gebunden (Art. 105 Abs. 1 BGG). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (Art. 97 Abs. 1 BGG), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; BGE 133 II 249 E. 1.2.2 S. 252; 133 III 393 E. 7.1 S. 398), oder er beruhe auf einer anderen Rechtsverletzung im Sinn von Art. 95 BGG (z.B. Art. 29 Abs. 2 BV oder Art. 8 ZGB). Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 135 I 19 E. 2.2.2 S. 22). Für all diese Elemente gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 255). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Lage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.2 S. 246).
In der Beschwerde in Zivilsachen dürfen überdies keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (Art. 99 Abs. 1 BGG). In der Beschwerde ist darzutun, inwiefern die Voraussetzung für eine nachträgliche Einreichung von Tatsachen und Beweismitteln erfüllt sein soll (BGE 133 III 393 E. 3 S. 395).
2. Das Kantonsgericht hat erwogen, es gehe um einen besitzesrechtlichen Herausgabeanspruch, dessen Grundlage sich entgegen den erstinstanzlichen Erwägungen weder in Art. 933 noch in Art. 935, sondern vielmehr in Art. 936 ZGB finde. Der besitzesrechtliche Herausgabeanspruch sei im Gegensatz zum Vindikationsanspruch abtretbar; dabei stütze sich die Klage des Zessionars auf den früheren Besitz des Zedenten. Der böse Glaube im Sinn von Art. 936 ZGB müsse sich auf die Berechtigung des Veräusserers beziehen, über die Sache zu verfügen. Zwar werde der gute Glaube vermutet (Art. 3 Abs. 1 ZGB), aber wer aufgrund der nach den Umständen gebotenen Aufmerksamkeit nicht habe gutgläubig sein können, dürfe sich nicht darauf berufen (Art. 3 Abs. 2 ZGB). Die Beweislast sowohl für den früheren Besitz als auch für die Bösgläubigkeit liege beim Kläger.
Mit Bezug auf das erste Element ist das Kantonsgericht davon ausgegangen, dass der Schuldbrief vom Grundbuchamt zwar direkt an U._ ausgehändigt worden, S._ aber immerhin mittelbarer Besitzer geworden sei und er als solcher zur Klage gemäss Art. 936 ZGB berechtigt gewesen wäre. Allein aus dem Grundstückkauf seien die Rechte am Schuldbrief noch nicht an die Beschwerdegegnerin übergegangen; vielmehr sei ein Drittpfandverhältnis entstanden. Indes sei vertraglich vereinbart worden, dass die Beschwerdegegnerin als neue Eigentümerin der Liegenschaft anstelle des Verkäufers in den Rechtsstreit um den - nach ihrer Auffassung widerrechtlich begebenen - Schuldbrief eintrete. Damit sei offensichtlich auch die Abtretung des besitzesrechtlichen Herausgabeanspruches gemeint gewesen und somit die Aktivlegitimation der Beschwerdegegnerin zu bejahen.
Weiter hat das Kantonsgericht erwogen, aus den beigezogenen Strafakten und den Zeugenaussagen von V._ und S._ gehe hervor, dass sich diese anfangs 2002 in der Strafanstalt A._ kennengelernt hätten. Offenbar habe V._ dem im Juli 2002 in die Strafanstalt B._ verlegten S._ den Kontakt zu U._ vermittelt, und zwar über W._, der mit V._ ebenfalls im Strafvollzug und im fraglichen Zeitraum mit U._ geschäftlich verbunden gewesen sei. Über W._ scheine auch der Kontakt zwischen V._ und dem Beschwerdeführer zustande gekommen zu sein. Was den Inhaberschuldbrief angehe, so soll die Bevollmächtigung der durch U._ vertretenen T._ gemäss Darstellung in der Prozesseingabe und den Aussagen von S._ trotz der Bezeichnung als Generalvollmacht von Anfang an in dem Sinn beschränkt gewesen sein, wie dies S._ in einem Schreiben vom 24. November 2002 an U._ festgehalten habe (Umfinanzierung der bestehenden Schulden mittels neuer 1. Hypothek in Höhe von Fr. 700'000.-- und anschliessende Errichtung zweier Schuldbriefe in Höhe von Fr. 200'000.-- und Fr. 300'000.-- mit vorläufiger Aufbewahrung im Safe); bereits mit der im September 2002 erfolgten Errichtung des Schuldbriefes soll U._ daher weisungswidrig gehandelt haben. Gegen diese Darstellung sprächen allerdings die Aussagen von V._ und W._ im Rahmen der Strafuntersuchung, nach welchen S._ zumindest anfänglich mit der Errichtung eines Schuldbriefes und dessen Belehnung für ein geplantes Immobilienprojekt in C._ einverstanden gewesen sei und sich erst nach dessen Errichtung gegen eine Verwendung ausgesprochen habe; V._ wolle indes erst anfangs April 2003 erfahren haben, dass S._ gegenüber U._ jegliche Belastung des Schuldbriefes untersagt habe.
Insgesamt stehe fest, dass S._ jedenfalls mit Schreiben vom 24. November 2002 gegenüber U._ zum Ausdruck gebracht habe, dass er keinen Gebrauch des Schuldbriefes wünsche. V._ habe am 2. Dezember 2002 von U._ erfahren, dass S._ den Schuldbrief für das Geschäft im Welschland nicht oder nicht mehr habe belehnen wollen, was sich aus dem Schreiben von V._ vom 9. Dezember 2002 ergebe, mit dem er deswegen bei S._ interveniert habe. U._ habe gewusst, dass S._ trotz dieser Intervention von V._ am Verbot einer Belehnung des Schuldbriefes festhalte, weshalb er mit dessen Übergabe an V._ zwecks Weiterverkaufes an den Beschwerdeführer weisungswidrig gehandelt habe; auch V._ habe nicht von einer Zustimmung von S._ ausgehen können und es habe ihm somit die Berechtigung gefehlt, über den Schuldbrief zu verfügen.
Mit Bezug auf die Gutgläubigkeit des Beschwerdeführers hat das Kantonsgericht befunden, gemäss Kaufvertrag vom 20. März 2003 habe der Beschwerdeführer den nominal auf Fr. 410'000.-- (zuzüglich Zinsforderung) lautenden Schuldbrief für lediglich Fr. 260'000.-- erworben, wobei er gemäss eigenen Angaben sogar nur Fr. 200'000.-- bezahlt habe. Die Tatsache, dass sich V._ als Verkäufer mit nicht einmal der Hälfte des Nennwertes zufrieden gegeben habe, hätte beim Beschwerdeführer Misstrauen erwecken müssen. Zu beachten sei sodann, dass V._ gemäss seiner Zeugenaussage an sich nicht einen Kaufvertrag über den Schuldbrief habe abschliessen, sondern diesen lediglich als Faustpfandsicherheit gegen ein Darlehen habe unterlegen wollen; auch der Beschwerdeführer habe angegeben, ursprünglich davon ausgegangen zu sein, dass auf Darlehensbasis kontrahiert würde, aber er habe dann zur Kenntnis nehmen müssen, einen Kauf mit Rückkaufsklausel offeriert zu bekommen. Mithin habe der Beschwerdeführer am 20. März 2003 einen Vertrag unterbreitet erhalten, der erheblich von dem im Vorfeld Besprochenen abgewichen sei; auch dies hätte bei ihm Erklärungsbedarf hervorrufen müssen. Zu beachten sei sodann die Kaufoption in Ziff. 6 über Fr. 300'000.--, womit ihm in Aussicht gestellt worden sei, in lediglich fünf Monaten einen Gewinn von Fr. 100'000.-- zu erzielen. Aussergewöhnlich mute auch an, dass im Kaufvertrag ein Preis von Fr. 260'000.-- vereinbart worden, aber V._ offenbar ohne weiteres bereit gewesen sei, sich mit einer Zahlung von Fr. 200'000.-- zufrieden zu geben; gleichzeitig habe er dem Beschwerdeführer den Erhalt von Fr. 260'000.-- quittiert und dieser habe damit augenfällig keine Mühe gehabt. Ins Gewicht falle sodann, dass der Beschwerdeführer den Schuldbrief von einem ihm völlig unbekannten Veräusserer erworben habe und dieser den Schuldbrief gar nicht selbst in den Händen gehabt habe, sondern dieser zuerst gegen eine Bezahlung von Fr. 60'000.-- an einen gewissen Y._ "aus dessen Depot" ausgelöst werden musste, dies in offenbarem Widerspruch zu Ziff. 4 und 5 des Kaufvertrages, wonach V._ bestätigt habe, den Schuldbrief von U._ ausgehändigt erhalten zu haben. Zweifel an der Verfügungsbefugnis von V._ seien deshalb angebracht gewesen, zumal auch der im Titel als Schuldner aufgeführte S._ dem Beschwerdeführer völlig unbekannt gewesen sei. Erkundigungen nach der Verfügungsberechtigung von V._ hätten sich unter diesen Umständen geradezu aufgedrängt.
Das Kantonsgericht hat ferner darauf hingewiesen, dass der Kaufvertrag vom 20. März 2003 umständliche und übertriebene Formulierungen zur angeblichen Verfügungsberechtigung enthalten habe (Erklärung von V._, rechtmässiger Eigentümer und Inhaber des Schuldbriefes zu sein; ausdrückliche Erlaubnis von S._, den Schuldbrief zu platzieren; Erklärung, dass der Schuldbrief zu Recht bestehe), aber auch Sachverhalte, die für das konkrete Geschäft gar nicht relevant gewesen seien (angebliche Honorarabrechnung der T._; Zahlung von U._ an T._), jedoch deutlich gemacht hätten, dass ein erheblicher Teil des Verkaufserlöses sogleich an Dritte gehen würde. Zudem seien Zweifel über die Rolle von U._ angebracht gewesen, wobei nicht einmal so sehr ins Gewicht falle, dass das ganze Geschäft in einer Hotellobby abgewickelt worden sei, sondern ins Auge steche, dass U._ gemäss Vertrag in das Geschäft mit dem Schuldbrief involviert gewesen sei und aus dem Verkaufserlös von Fr. 200'000.-- ein Honorar von Fr. 90'000.-- erhalten sollte.
Selbst wenn dem Beschwerdeführer die kriminelle oder zumindest dubiose Vergangenheit seines Vertragspartners und dessen Mittelsmänner damals nicht bekannt gewesen wäre, so seien jedenfalls die Gesamtumstände des Geschäfts derart ungewöhnlich, dass er sich nicht einfach über die verschiedenen Diskrepanzen habe hinwegsetzen dürfen. Es hätten mehrere konkrete Verdachtsgründe bestanden, die Zweifel an der Verfügungsberechtigung von V._ hätten erwecken müssen, weshalb der Beschwerdeführer zu weiteren Erkundigungen verpflichtet gewesen wäre, namentlich durch direkte Nachfrage bei S._ oder durch Einfordern einer ausdrücklichen Vollmacht. Indem er dies unterlassen und damit die nach den Umständen gebotene Aufmerksamkeit im Sinn von Art. 3 Abs. 2 ZGB habe vermissen lassen, könne er sich nicht auf seinen guten Glauben berufen.
3. Der Beschwerdeführer erhebt verschiedene formelle Einwände und übt Kritik am festgestellten Sachverhalt.
3.1 Der Beschwerdeführer bringt vor, die Beschwerdegegnerin habe in der erstinstanzlichen Hauptverhandlung argumentiert, er könne sich im Sinn von Art. 3 Abs. 2 ZGB nicht auf Gutgläubigkeit berufen, aber den direkten Beweis seiner Bösgläubigkeit könne sie nicht erbringen. Folglich habe sich das Kantonsgericht über die in Art. 119 ZPO/GR enthaltene Dispositionsmaxime hinweggesetzt und damit kantonales verfassungsmässiges Recht verletzt (Art. 95 Abs. 1 lit. c BGG).
Abgesehen davon, dass die Dispositionsmaxime kein kantonales Grundrecht, sondern eine Maxime des kantonalen Zivilprozessrechts ist, die als willkürlich angewandt zu rügen wäre, kann sie von vornherein nicht verletzt sein, hat doch das Kantonsgericht nichts anderes getan, als den soeben erwähnten Standpunkt der Beschwerdegegnerin für zutreffend zu erklären, dass nämlich der Beschwerdeführer die nach den Umständen gebotene Aufmerksamkeit im Sinn von Art. 3 Abs. 2 ZGB hat vermissen lassen und er deshalb nicht gutgläubig im Sinn von Art. 936 Abs. 1 ZGB sein konnte. Fehlende Gutgläubigkeit hat die gleichen Folgen wie Bösgläubigkeit (vgl. BGE 121 III 345 E. 2b S. 348; 122 III 1 E. 2a S. 3): Beide Begriffe bezeichnen im Prinzip rechtlich das Gleiche, nämlich das Gegenteil des guten Glaubens; es gibt keinen dazwischen liegenden Kenntnisstand (Stark/Ernst, Basler Kommentar, N. 2 zu Art. 936 ZGB). Dies zeigt sich auch darin, dass die Marginalie zu Art. 936 ZGB vom bösen Glauben, der Wortlaut von Art. 936 Abs. 1 ZGB hingegen vom fehlenden guten Glauben spricht. Massgeblich im vorliegend interessierenden Kontext ist jedenfalls, dass der Beschwerdegegnerin als Klägerin kein direkter Nachweis eines bösen Glaubens, sondern der Beweis des fehlenden guten Glaubens des Beschwerdeführers mit Bezug auf die Veräusserungsberechtigung von V._ oblag. Darauf wird bei den materiell-rechtlichen Erwägungen zurückzukommen sein (E. 4.2 und 4.3).
3.2 Nicht zu sehen ist, inwiefern das Kantonsgericht im Zusammenhang mit der geänderten rechtlichen Subsumtion (Art. 936 statt Art. 933 bzw. 935 ZGB) das rechtliche Gehör des Beschwerdeführers verletzt haben soll. Insbesondere ist nicht zu erkennen, inwiefern sich dabei die Beweislast in einer unvorhersehbaren Weise zu seinen Ungunsten geändert haben soll, oblag doch der Beschwerdegegnerin wie gesagt der Beweis, dass er unter den gegebenen Umständen nicht gutgläubig sein konnte (materiell dazu E. 4.2 und 4.3).
3.3 Soweit der Beschwerdeführer geltend macht, S._ habe aufgrund der Generalvollmacht den Besitz am Schuldbrief freiwillig aufgegeben und Art. 936 ZGB könne deshalb nicht greifen, übergeht er die Sachverhaltsfeststellungen des Kantonsgerichts, wonach die Generalvollmacht von Anfang an beschränkt war und S._ jedenfalls mit Schreiben vom 24. November 2002 gegenüber U._ zum Ausdruck brachte, dass er keine Begebung des Schuldbriefes wünsche, wovon auch V._ Kenntnis hatte.
3.4 Sodann behauptet der Beschwerdeführer verschiedene Sachverhaltselemente, die sich nicht oder nicht so im angefochtenen Urteil finden (insbesondere Ziff. 3, 5 und 6 der Beschwerde). Diesbezüglich müsste er mit substanziierten Willkürrügen aufzeigen, inwiefern das Kantonsgericht im Rahmen der Parteivorbringen relevante Aktenstücke in willkürlicher Weise nicht oder nicht richtig beachtet oder willkürliche Feststellungen getroffen hätte (vgl. E. 1). Dies tut der Beschwerdeführer nicht im Ansatz und er erwähnt nicht einmal Art. 9 BV oder wenigstens Art. 97 BGG; vielmehr beschränkt er sich auf appellatorische Ausführungen, indem der einfach seine eigene Sicht der Dinge schildert. Damit ist keine Willkür darzutun und insofern auf die Beschwerde nicht einzutreten.
Einzig im Zusammenhang mit der Herauslösung des Schuldbriefes gegen Fr. 60'000.-- erwähnt der Beschwerdeführer Art. 97 BGG und behauptet eine unrichtige Feststellung des Sachverhaltes; inhaltlich bleibt die Behauptung aber auch hier unsubstanziiert, weil der Beschwerdeführer nicht aufzeigt, inwiefern das Kantonsgericht bei seiner Feststellung in Willkür verfallen sein soll.
3.5 Soweit der Beschwerdeführer in diesem Zusammenhang anfügt, "bekannt ist ja, dass ... das rechtliche Gehör nicht gewährt wurde", reicht dies nicht im Ansatz zur Begründung einer auf Art. 29 Abs. 2 BV gestützten Verfassungsrüge (vgl. E. 1); ebenso wenig vermag diesbezüglich der Verweis auf die "richterliche Fragepflicht" ohne irgendwelche Hinweise auf deren gesetzliche Grundlage und Tragweite zu helfen.
3.6 In einer allgemeinen Schelte erschöpft sich die Behauptung, das Kantonsgericht habe nach der bis 16 Uhr dauernden Verhandlung sicher nicht mehr sämtliche Aspekte besprechen können und es dürfe zwangslos angenommen werden, dass der Urteilsredaktor in der Folge die Dinge einfach habe zurechtbiegen müssen; gegen welche Bestimmungen in diesem Zusammenhang verstossen worden sein soll, tut der Beschwerdeführer nicht dar.
3.7 Nichts für sich ableiten kann der Beschwerdeführer schliesslich aus der allgemeinen Polemik, welche dahin geht, dass nach gesundem Menschenverstand die Konsequenzen des Handels den Gaunern, Mördern und Zuchthäuslern, nicht aber ihm als bravem Bündner Rechtsgenossen aufzuerlegen seien, der bloss einen Routinehandel mit einem "Inhaber" durchgeführt habe.
4. Es verbleibt die materiell-rechtliche Prüfung, ob das Kantonsgericht gegen Normen des Zivilrechts verstossen hat. In diesem Bereich wendet das Bundesgericht das Recht an sich von Amtes wegen an (vgl. Art. 106 Abs. 1 BGG). Indes bedeutet die Begründungspflicht gemäss Art. 42 Abs. 2 BGG, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheides auseinandersetzen muss (BGE 134 II 244 E. 2.1 S. 245 f.). Insofern prüft das Bundesgericht in der Regel nur behauptete Rechtsverletzungen.
4.1 Der Beschwerdeführer macht geltend, das Kantonsgericht habe die Tragweite von Art. 843 ZGB falsch eingeschätzt, welcher die Umlauffähigkeit des Schuldbriefes fördern wolle, indem die Kantone nicht zwingend zu einer Belastungsgrenze verpflichtet seien und es somit keine Milchmädchenrechnung zur Werthaltigkeit des Schuldbriefes geben könne, sondern jeder selbst wissen müsse, welchen Wert er einem Schuldbrief beimesse. Vorliegend sei für ihn zentral gewesen, dass zwar nicht ein Darlehensgeschäft, aber ein gleichgerichtetes Rechtsgeschäft, nämlich ein Kauf gekoppelt mit einer Rückkaufsoption, vereinbart worden sei; er sei davon ausgegangen, dass sich die Sache quasi von selbst ausgleiche, indem die Rückkaufsoption wahrgenommen werde, was dann aber zu seinem Erstaunen nicht der Fall gewesen sei.
Ein Zusammenhang dieser wenig verständlichen Ausführungen mit den entscheidrelevanten Fragen (dazu E. 4.2) ist nicht ersichtlich; ebenso wenig, inwiefern das Kantonsgericht Art. 843 ZGB verletzt haben soll.
4.2 Massgeblich im vorliegenden Kontext ist, ob der Beschwerdeführer beim Kauf des Schuldbriefes angesichts der Aufmerksamkeit, wie sie nach den Umständen von ihm verlangt werden durfte, gutgläubig sein konnte (Art. 3 Abs. 2 ZGB); muss dies aufgrund der konkreten Umstände verneint werden, ist er nicht berechtigt, sich auf seinen guten Glauben zu berufen (Art. 3 Abs. 2 ZGB) mit der weiteren Rechtsfolge, dass der Schuldbrief vom früheren Besitzer herausverlangt werden kann (Art. 936 Abs. 1 ZGB). In diesem Zusammenhang sind die konkreten Umstände eine (für das Bundesgericht verbindlich festgestellte, vgl. Art. 105 Abs. 1 BGG) Sachfrage; Rechtsfrage ist hingegen, ob auf der Basis dieser Umstände der gute Glaube zu bejahen oder zu verneinen ist und dabei insbesondere, ob der Erwerber die durch die Umstände gebotene Aufmerksamkeit hat walten lassen (vgl. BGE 131 III 418 E. 2.3.1 S. 421).
Der Grad der vom Erwerber verlangten Aufmerksamkeit richtet sich nach den Umständen des Einzelfalles, wobei sie sich nach objektiven, von der Kenntnis und den Fähigkeiten der Partei unabhängigen Kriterien bemisst (BGE 131 III 418 E. 2.3.2 S. 422). Im Grundsatz besteht keine allgemeine Erkundigungspflicht des Erwerbers. Liegen allerdings konkrete Verdachtsgründe vor, müssen die näheren Umstände abgeklärt werden (BGE 100 II 8 E. 4a S. 16 f.; 122 III 1 E. 2a S. 3). Ins Gewicht fällt diesfalls namentlich, ob der Veräusserer eine einleuchtende Darstellung geben kann, wie er die Sache erworben hat, und ob für die Kaufsache ein handelsüblicher Preis verlangt wird (Stark/Ernst, a.a.O., N. 36 zu Art. 933 ZGB).
4.3 Soweit der Beschwerdeführer behauptet, S._ hätte es in der Hand gehabt, die Löschung oder Kraftloserklärung des Schuldbriefes in die Wege zu leiten oder er hätte auch nur U._ auffordern können, ihm den Titel auszuhändigen, steht dies in keinem Zusammenhang mit der Frage des guten Glaubens.
Demgegenüber zwar topisch, aber nicht geeignet, eine Rechtsverletzung im Zusammenhang mit Art. 3 Abs. 2 i.V.m. Art. 936 Abs. 1 ZGB aufzuzeigen, sind die Ausführungen des Beschwerdeführers, wonach das Inhaberschuldbriefwesen nicht mit dem Autooccasionhandel, wo es keine hochoffiziellen Verfahren vor einem Notar gebe, verglichen werden könne und er nicht habe herumrätseln müssen, wenn ihm der Anwalt des Schuldbrieferstellers einen Kaufvertrag mit Rückkaufsoption zur Unterschrift vorgelegt habe, zumal Anwälte sehr strengen aufsichtsrechtlichen Kontrollen unterlägen und U._ über ein Anwaltspatent verfüge, weshalb er (der Beschwerdeführer) die nach den Umständen gebotene Aufmerksamkeit habe walten lassen:
Ausgehend von den in E. 2 wiedergegebenen Sachverhaltsfeststellungen des Kantonsgerichts kam das Geschäft unter höchst dubiosen Umständen zustande (unbekannter Verkäufer, der sich mit weniger als der Hälfte des Schuldbriefnominals zufrieden gibt; Vorlegen eines anderen Vertrages als vorher besprochen; umständliche und übertriebene Formulierungen zur angeblichen Verfügungsberechtigung; fehlende plausible Erklärung für den merkwürdigen, aus Kauf und Rückkaufsklausel bestehenden Vertragsinhalt; Entgegennahme eines tieferen als des vereinbarten Kaufpreises, aber Quittierung für einen höheren Betrag als den effektiv bezahlten; Herauslösung des Schuldbriefes gegen Spezialzahlung aus dem Depot eines Dritten, dies entgegen dem Vertragsinhalt, wonach sich der Schuldbrief in den Händen des Verkäufers befinde).
Vor dem Hintergrund all dieser ungewöhnlichen Begebenheiten hätte sich der Beschwerdeführer genauer nach der Herkunft des Schuldbriefes und der Rechtmässigkeit des Besitzes erkundigen müssen, zumal ihm der aus dem Titel ersichtliche Schuldner nicht bekannt war. Das Kantonsgericht hat bundesrechtskonform erkannt, dass der Beschwerdeführer bei der Aufmerksamkeit, wie sie nach den Umständen von ihm verlangt werden durfte, nicht gutgläubig sein konnte (Art. 3 Abs. 2 ZGB).
5. Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit auf sie eingetreten werden kann. Bei diesem Ergebnis sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Gegenseite ist im Zusammenhang mit ihrem Kurzbrief vom 27. September 2010, wonach gegen die aufschiebende Wirkung keine Einwände erhoben werden, kein entschädigungspflichtiger Aufwand entstanden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 8'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 7. März 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli