Sachverhalt:
A. Die Staatsanwaltschaft des Kantons Glarus nahm am 23. September 2011 das Strafverfahren gegen die acht Mitglieder der Erbengemeinschaft A._ wegen Urkundenfälschung nicht an die Hand.
X._, der die Strafanzeige gegen die Erbengemeinschaft eingereicht hatte, focht diese Nichtanhandnahmeverfügung beim Obergericht des Kantons Glarus an. Dieses trat am 8. März 2012 auf die Beschwerde nicht ein, im Wesentlichen mit der Begründung, als Anzeigeerstatter sei er nicht beschwerdebefugt.
B. Mit Beschwerde in Strafsachen beantragt X._ sinngemäss, die Nichtanhandnahmeverfügung der Staatsanwaltschaft und das Urteil des Obergerichts aufzuheben. Ausserdem ersucht er um unentgeltliche Rechtspflege.
C. Die Staatsanwaltschaft verzichtet auf Vernehmlassung. Das Obergericht führt aus, dass X._ durch keines der von ihm zur Anzeige gebrachten Urkundendelikte geschädigt wäre und beantragt, seinen Entscheid zu bestätigen.
In seiner Replik hält X._ an der Beschwerde fest.
Erwägungen:
1. Der angefochtene Entscheid bestätigt, dass das vom Beschwerdeführer angestrebte Strafverfahren nicht an die Hand genommen wird. Er schliesst damit das Verfahren ab. Es handelt sich um den Endentscheid einer letzten kantonalen Instanz in einer Strafsache, gegen den die Beschwerde in Strafsachen zulässig ist (Art. 78 Abs. 1, Art. 80 Abs. 1, Art. 90 BGG). Der Beschwerdeführer wäre befugt sie zu erheben, wenn er als Privatkläger am kantonalen Verfahren beteiligt gewesen oder zu Unrecht davon ausgeschlossen worden wäre und sich der angefochtene Entscheid zudem auf die Beurteilung allfälliger Zivilansprüche auswirken könnte (Art. 81 Abs. 1 lit. a und lit. b Ziff. 5 BGG).
Das Obergericht hat im angefochtenen Entscheid und in der Vernehmlassung ausgeführt, dass und weshalb der Beschwerdeführer durch die von ihm zur Anzeige gebrachten Urkundendelikte nicht geschädigt worden sein kann und er, wäre er mit den Anzeigen durchgedrungen, daraus nicht nur keine Zivilansprüche hätte ableiten können, sondern vielmehr die Grundlage für das erhaltene Vermächtnis in Höhe von Fr. 10'000.-- weggefallen wäre. Der Beschwerdeführer bringt nichts vor, was geeignet wäre, diese schlüssigen Ausführungen in Frage zu stellen. Er war somit zu Recht nicht als Privatkläger am kantonalen Verfahren beteiligt worden, womit er nicht legitimiert ist, das obergerichtliche Urteil anzufechten.
2. Auf die Beschwerde ist nicht einzutreten. Unter den vorliegenden Umständen rechtfertigt sich, auf die Erhebung von Kosten zu verzichten. Damit wird das Gesuch um unentgeltliche Rechtspflege gegenstandslos.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Staats- und Jugendanwaltschaft des Kantons Glarus und dem Obergericht des Kantons Glarus schriftlich mitgeteilt.
Lausanne, 20. Juni 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Störi