Sachverhalt: A. X._ reichte am 31. Mai 2011 Strafanzeige bei der Oberstaatsanwaltschaft des Kantons Aargau ein gegen A._, den ehemaligen Gemeindeammann der Gemeinde B._, "und/oder" C._, den Gemeindeschreiber derselben Gemeinde, wegen Unterdrückung von Urkunden im Amt (Art. 254 StGB). Zur Begründung führte er aus, den Ehevertrag der Eltern sowie das Testament seines Vaters nach dessen Tod der Gemeindekanzlei übergeben zu haben. Die angezeigten Personen hätten in der Folge lediglich das Testament, nicht aber den Ehevertrag an das Bezirksgericht Zofingen weitergeleitet. Dabei sei es ihnen darum gegangen, "den Beweiswert des Original-Ehevertrages zu eliminieren und einen ausschliesslichen Erbfall zu konstruieren ...". B. Am 8. Juni 2011 verfügte die Oberstaatsanwaltschaft die Nichtanhandnahme, im Wesentlichen mit der Begründung, dass gemäss den einschlägigen Bestimmungen Testamente, Erbverträge usw., nicht aber Eheverträge einzureichen seien. Offensichtlich liege daher kein strafbares Verhalten vor. C. Mit Entscheid vom 22. März 2012 trat das Obergericht des Kantons Aargau auf eine dagegen erhobene Beschwerde von X._ nicht ein, da dieser nicht zur Beschwerde legitimiert sei. D. X._ führt Beschwerde in Strafsachen beim Bundesgericht mit dem Antrag, den Entscheid des Obergerichts aufzuheben und in der Sache eine Untersuchung anzuordnen. E. Die Oberstaatsanwaltschaft und das Obergericht des Kantons Aargau haben beide auf eine Vernehmlassung verzichtet.