Sachverhalt:
A. Die Stiftung X._ (Beschwerdeführerin) hat ihren Sitz am Y._weg in Z._. Sie bezweckt, bei der Finanzierung von Aufgaben, die den Weitererhalt des Tierheims X._ betreffen, Mithilfe zu leisten. Die Stiftung kann auch Liegenschaften an- und weiterverkaufen, die diesem Zweck dienen. Präsident des Stiftungsrates war B._ bis zu seinem Tode am 4. März 2008. Hernach übernahm C._ das Präsidium. Als Einzelunternehmerin betreibt sie ausserdem das Tier- und Pflegeheim Q._, ebenfalls am Y._weg in Z._.
A._ (Beschwerdegegnerin) ist die Witwe von B._ und dessen Universalerbin. Nach dessen Tod fand sie in einem Tresor eine auf Briefpapier des Tier- und Pflegeheims Q._ ausgestellte Quittung vom 9. Februar 2008, mit welcher C._ bestätigt, von B._ den Betrag von Fr. 50'000.-- "für den Schuldbrief Grundbuch Starrkirch-Wil Nr. vvv._ vom 16. August 1984 erhalten zu haben". Dieser Inhaberschuldbrief befand sich ebenfalls im Tresor. Darin anerkennt die Eigentümerin des Grundstücks, die Stiftung R._, dem Inhaber des Schuldbriefs Fr. 50'000.-- zu schulden.
B. Die Beschwerdegegnerin klagte am 25. Februar 2009 vor dem Richteramt Olten-Gösgen gegen die Beschwerdeführerin auf Zahlung von Fr. 50'000.-- nebst 5 % Zins seit 1. Dezember 2008. Die Beschwerdeführerin ihrerseits erhob Widerklage mit dem Begehren, die Beschwerdegegnerin zu verpflichten, ihr den auf der Liegenschaft GB Starrkirch-Wil Nr. vvv._ lastenden Inhaberschuldbrief per nominell CHF 50'000.-- vom 16. August 1984 unbelehnt herauszugeben. Mit Urteil vom 14. September 2010 verpflichtete das Richteramt Olten-Gösgen die Beschwerdeführerin, der Beschwerdegegnerin Fr. 50'000.-- nebst 5 % Zins seit 14. April 2009, Zug um Zug gegen Herausgabe des auf der Liegenschaft GB Starrkirch-Wil Nr. vvv._ lastenden Inhaberschuldbriefs über Fr. 50'000.-- vom 16. August 1984 zu bezahlen. Die Widerklage wies es ab.
Auf Appellation der Beschwerdeführerin wies das Obergericht des Kantons Solothurn mit Urteil vom 10. Mai 2011 sowohl die Klage als auch die Widerklage ab.
C. Die Beschwerdeführerin beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 10. Mai 2011 betreffend die Widerklage aufzuheben und diese gutzuheissen. Eventuell sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Die Vorinstanz beantragt unter Hinweis auf die Akten und die Motive seines Urteils, die Beschwerde abzuweisen. Die Beschwerdeführerin hat in einer weiteren Eingabe einen Schreibfehler richtig gestellt.
Erwägungen:
1. 1.1 Mit der Beschwerde kann die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Der Begriff des Bundesrechts umfasst die von den Bundesorganen erlassenen Rechtsnormen aller Erlassstufen, insbesondere die Bundesverfassung, die Bundesgesetze sowie die verschiedenen Arten von Verordnungen (BGE 133 I 201 E. 1 S. 203). Soweit sich der angefochtene Entscheid auf Quellen des kantonalen Rechts stützt, welche nicht in Art. 95 lit. c-e BGG genannt werden, beschränkt sich die Überprüfung durch das Bundesgericht demgegenüber thematisch auf die erhobenen und begründeten Rügen (Art. 106 Abs. 2 BGG) und inhaltlich auf die Frage, ob die Anwendung des kantonalen Rechts zu einer Bundesrechtswidrigkeit führt. Im Vordergrund steht dabei eine Verletzung verfassungsmässiger Rechte, insbesondere des Willkürverbots nach Art. 9 BV (BGE 135 V 94 E. 1 S. 95, mit Hinweisen; vgl. zum Begriff der Willkür: BGE 132 III 209 E. 2.1 S. 211, mit Hinweisen). Was die Feststellung des Sachverhalts anbelangt, kann mit der Beschwerde nur gerügt werden, diese sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung nach Art. 95 (Art. 97 Abs. 1 BGG).
1.2 Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substanziiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen. Er hat durch Aktenhinweise aufzuzeigen, dass er entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits den kantonalen Instanzen prozesskonform unterbreitet hat (Urteil 4A_37/2011 vom 27. April 2011 E. 1.3, mit Hinweisen). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE 133 II 249 E. 1.4.3 S. 254 f.; 133 III 462 E. 2.4 S. 466 f.).
2. 2.1 Da das erstinstanzliche Urteil noch vor dem Inkrafttreten der Schweizerischen Zivilprozessordnung (ZPO) am 1. Januar 2011 versandt wurde, galt bezüglich der Rechtsmittel gegen dieses Urteil weiterhin das kantonale Prozessrecht (Art. 405 Abs. 1 ZPO; BGE 137 III 130 E. 2). Dieses Recht bestimmte damit, welchen Anforderungen die von der Beschwerdeführerin ergriffene Appellation zu genügen hatte.
2.2 Die Beschwerdeführerin rügt, das Obergericht habe im Rahmen der Beweiswürdigung einzig die Quittung vom 9. Februar 1998, nicht aber weitere Beweismittel berücksichtigt und namentlich die von der ersten Instanz durchgeführten Befragungen von C._ und D._ ausser Acht gelassen. Der Zeuge D._ habe klar bestätigt, dass der Schuldbrief B._ zur blossen Aufbewahrung übergeben worden sei. Das Obergericht führe auch nicht aus, weshalb es auf die Aussage D._ nicht abstelle, womit es nebst dem Willkürverbot seine Begründungspflicht und damit den Anspruch der Beschwerdeführerin auf rechtliches Gehör nach Art. 29 Abs. 2 BV verletze.
2.3 Die Beschwerdeführerin zeigt nicht auf, dass sie sich vor Vorinstanz prozesskonform auf die betreffenden Aussagen berufen hat, damit aber zu Unrecht nicht gehört wurde oder dass die Vorinstanz nach kantonalem Prozessrecht zur Würdigung der betreffenden Beweismittel von Amtes wegen verpflichtet gewesen wäre. Der Anspruch auf rechtliches Gehör ist nicht verletzt, wenn die Vorinstanz nicht von sich aus sämtliche im Recht liegenden Beweismittel prüft. Demgemäss ist auch der daraus fliessende Anspruch auf ein begründetes Urteil nicht verletzt, wenn nicht angegeben wird, weshalb nicht gehörig angerufene Beweismittel nicht gewürdigt werden.
3. 3.1 Beruht der angefochtene Entscheid auf mehreren selbstständigen alternativen Begründungen, so ist für jede einzelne darzutun, weshalb sie Recht verletzt; denn soweit nicht beanstandete Begründungen das angefochtene Urteil selbstständig stützten, fehlt das Rechtsschutzinteresse an der Beurteilung der gehörig begründeten Rügen (BGE 133 IV 119 E. 6.3 S. 120 f.; vgl. auch BGE 132 III 555 E. 3.2 S. 560; je mit Hinweisen).
3.2 Die Vorinstanz hat den Anspruch auf Herausgabe des Schuldbriefs aus zwei Gründen abgelehnt. Zum einen habe die Beschwerdeführerin nicht nachgewiesen, dass der Schuldbrief B._ zur Aufbewahrung übergeben worden sei und nicht etwa als Sicherheit. Zum anderen habe die Beschwerdegegnerin, welche die Herausgabe des unbelehnten Inhaberschuldbriefs verlange, nicht nachgewiesen, dass der Schuldbrief unbelehnt sei.
3.3 Nachdem es der Beschwerdeführerin nicht gelungen ist, aufzuzeigen, dass die Vorinstanz eine Bundesrechtsverletzung begangen hat, indem sie bestimmte Partei- bzw. Zeugenaussagen nicht im Sinne der Beschwerdeführerin gewürdigt hat (E. 2 hiervor), bliebe das angefochtene Urteil aufgrund des fehlenden Nachweises der mit der Schuldbriefübergabe an B._ bezweckten Verwahrung auch dann aufrecht, wenn die gegen die Alternativbegründung erhobene Rüge stichhaltig wäre. Mangels Rechtsschutzinteresses ist darauf nicht einzutreten.
4. Aus den dargelegten Gründen erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des bundesgerichtlichen Verfahrens wird die Beschwerdeführerin dafür kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'500.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 21. November 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Gelzer