Sachverhalt:
A. X._ reichte am 31. Mai 2011 Strafanzeige bei der Oberstaatsanwaltschaft des Kantons Aargau ein gegen A._, den ehemaligen Gemeindeammann der Gemeinde B._, "und/oder" C._, den Gemeindeschreiber derselben Gemeinde, wegen Unterdrückung von Urkunden im Amt (Art. 254 StGB). Zur Begründung führte er aus, den Ehevertrag der Eltern sowie das Testament seines Vaters nach dessen Tod der Gemeindekanzlei übergeben zu haben. Die angezeigten Personen hätten in der Folge lediglich das Testament, nicht aber den Ehevertrag an das Bezirksgericht Zofingen weitergeleitet. Dabei sei es ihnen darum gegangen, "den Beweiswert des Original-Ehevertrages zu eliminieren und einen ausschliesslichen Erbfall zu konstruieren ...".
B. Am 8. Juni 2011 verfügte die Oberstaatsanwaltschaft die Nichtanhandnahme, im Wesentlichen mit der Begründung, dass gemäss den einschlägigen Bestimmungen Testamente, Erbverträge usw., nicht aber Eheverträge einzureichen seien. Offensichtlich liege daher kein strafbares Verhalten vor.
C. Mit Entscheid vom 22. März 2012 trat das Obergericht des Kantons Aargau auf eine dagegen erhobene Beschwerde von X._ nicht ein, da dieser nicht zur Beschwerde legitimiert sei.
D. X._ führt Beschwerde in Strafsachen beim Bundesgericht mit dem Antrag, den Entscheid des Obergerichts aufzuheben und in der Sache eine Untersuchung anzuordnen.
E. Die Oberstaatsanwaltschaft und das Obergericht des Kantons Aargau haben beide auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Nach Art. 81 Abs. 1 BGG ist zur Beschwerde in Strafsachen berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, sofern er ein aktuelles rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Bei der Privatklägerschaft wird in Art. 81 Abs. 1 lit. b Ziff. 5 BGG zusätzlich verlangt, dass der angefochtene Entscheid sich auf die Beurteilung ihrer Zivilansprüche auswirken kann und die Zivilansprüche im Strafverfahren geltend gemacht werden. Im Falle der Einstellung des Strafverfahrens oder der Nichtanhandnahme reicht es indes aus, dass im Verfahren vor Bundesgericht gemäss den Anforderungen von Art. 42 Abs. 2 BGG dargelegt wird, aus welchen Gründen und inwiefern sich der angefochtene Entscheid auf Zivilforderungen auswirken kann. Darauf kann allenfalls verzichtet werden, wenn sich solche Auswirkungen aufgrund der Natur der in Frage stehenden Straftat ohne Weiteres aus den Akten ergeben (vgl. <ref-ruling> E. 2.4 S. 222; <ref-ruling> E. 1.3.1 S. 248; je mit weiteren Hinweisen).
1.2 Der blosse Anzeigesteller kann lediglich die Verletzung von Rechten rügen, die ihm als am Verfahren beteiligte Partei nach dem massgebenden Prozessrecht oder unmittelbar aufgrund der Bundesverfassung oder der Europäischen Menschenrechtskonvention zustehen (vgl. zur analogen Rechtsstellung eines Geschädigten <ref-ruling> E. 1.9 S. 40 mit Hinweisen). Zulässig sind Rügen formeller Natur, die sich von der Prüfung der Sache selber trennen lassen. Nicht zu hören sind hingegen Rügen, die im Ergebnis auf eine materielle Überprüfung des angefochtenen Entscheids abzielen (vgl. zu analogen Konstellationen <ref-ruling> E. 1.3.2 S. 253; <ref-ruling> E. 6.2 S. 198 f.).
1.3 Der Beschwerdeführer macht geltend, nicht nur Anzeigesteller, sondern als gesetzlicher Erbe Geschädigter zu sein. Das ist insoweit unmassgeblich, als er sich nicht als Privatkläger nach Art. 118 ff. StPO konstituiert hat. Der Beschwerdeführer ist aber jedenfalls insoweit zur Beschwerde legitimiert, als er sinngemäss rügt, die Vorinstanz habe ihm zu Unrecht die Legitimation abgesprochen. Insofern erweist sich die Beschwerde demnach als grundsätzlich zulässig.
1.4 Fraglich mag allenfalls erscheinen, ob die Beschwerdebegründung diesbezüglich die Anforderungen von Art. 42 Abs. 2 BGG erfüllt, wonach in der Beschwerdeschrift in gedrängter Form darzulegen ist, inwiefern der angefochtene Akt Recht verletzt, wobei sich die entsprechenden Ausführungen auf den angefochtenen Entscheid beziehen und sich damit auseinandersetzen müssen. Wie es sich damit verhält, kann indessen offen bleiben, da die Beschwerde ohnehin in der Sache abgewiesen werden muss.
2. 2.1 Streitgegenstand bildet die strafprozessuale Beschwerdelegitimation des Beschwerdeführers vor der Vorinstanz. Er erhob beim Obergericht Beschwerde nach Art. 393 ff. StPO gegen die Verfügung der Oberstaatsanwaltschaft, seine Anzeige nicht an die Hand zu nehmen (vgl. Art. 310 StPO). Beim Beschwerdeführer handelt es sich - als Geschädigtem oder als Anzeigeerstatter - um einen anderen Verfahrensbeteiligten gemäss Art. 105 StPO (vgl. insbes. Art. 105 Abs. 1 lit. a und b StPO). Als solchem stehen ihm, wenn er in seinen Rechten unmittelbar betroffen ist, nach Art. 105 Abs. 2 StPO die zur Wahrung seiner Interessen erforderlichen Rechte einer Partei zu. Dazu zählt das Beschwerderecht. Massgeblich für die Legitimation zur Beschwerdeerhebung des Beschwerdeführers ist Art. 382 StPO. Danach kann jede Partei, die ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung eines Entscheides hat, ein Rechtsmittel ergreifen (Abs. 1). Die Privatklägerschaft kann einen Entscheid hinsichtlich der ausgesprochenen Sanktion nicht anfechten (Abs. 2).
2.2 Die Vorinstanz begründete ihren Entscheid, dem Beschwerdeführer die Legitimation abzusprechen, im Wesentlichen damit, dieser sei nicht in seinen rechtlich geschützten Interessen verletzt worden, indem die Gemeinde den Ehevertrag nicht weitergeleitet habe. Mit der Vorinstanz ist davon auszugehen, dass die Bekanntmachung nach Art. 556 ZGB dazu dient, Kenntnis darüber zu erhalten, wer Erbe ist. Um die Grösse der Erbanteile geht es dabei noch nicht. Für die Frage der Erbenstellung ist der Ehevertrag jedoch belanglos. Nach herrschender Auffassung besteht denn auch keine bundesrechtliche Pflicht zur Einreichung von Eheverträgen (FRANK EMMEL, in: Praxiskommentar Erbrecht, hrsg. von Daniel Abt und Thomas Weibel, 2. Aufl., 2011, N. 9 zu Art. 556 ZGB). Es verletzt demnach Bundesrecht nicht, wenn die Vorinstanz davon ausgegangen ist, der Beschwerdeführer sei nicht beschwert, weil der Ehevertrag nicht weitergeleitet wurde.
2.3 Im Übrigen begründete die Vorinstanz ihren Entscheid subsidiär mit der materiellen Argumentation, die Beschwerde wäre abzuweisen, falls darauf einzutreten sei. In der Tat ist der objektive Tatbestand von Art. 254 Abs. 1 StGB, wonach durch das Nichtweiterleiten des Ehevertrages eine Urkunde hätte beschädigt, vernichtet, beiseitegeschafft oder entwendet werden müssen, offensichtlich nicht erfüllt. Überdies ist überhaupt nicht ersichtlich, dass die vom Beschwerdeführer angezeigten Behördenmitglieder von der Absicht, jemanden am Vermögen oder an andern Rechten zu schädigen oder sich oder einem andern einen unrechtmässigen Vorteil zu verschaffen, geleitet gewesen wären, wie es zusätzliches Tatbestandsmerkmal von Art. 254 Abs. 1 StGB ist.
2.4 Der angefochtene Entscheid verstösst somit nicht gegen Bundesrecht.
3. Demnach ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Angesichts der konkreten Umstände des vorliegenden Falles rechtfertigt es sich, auf die Erhebung von Gerichtskosten zu verzichten (vgl. Art. 66 Abs. 1 BGG). Damit kann das Gesuch um unentgeltliche Rechtspflege als gegenstandslos abgeschrieben werden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben.
3. Das Gesuch um unentgeltliche Rechtspflege wird als gegenstandslos abgeschrieben.
4. Dieses Urteil wird dem Beschwerdeführer, der Oberstaatsanwaltschaft des Kantons Aargau und dem Obergericht des Kantons Aargau, Beschwerdekammer in Strafsachen, schriftlich mitgeteilt.
Lausanne, 5. Juni 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax