Sachverhalt: A. X._ erstattete am 26. August 2010 Strafanzeige gegen seine von ihm getrennt lebende Ehefrau Y._ wegen falscher Anschuldigung im Sinne von Art. 303 StGB. Gleichzeitig machte er Zivilforderungen geltend. Mit Entscheid vom 18. Oktober 2010 stellte das damals für die Untersuchung zuständige Amtsstatthalteramt Luzern das Strafverfahren gegen Y._ ein und trat auf die Zivilforderungen von X._ nicht ein. Gegen den Einstellungsentscheid reichte X._ am 15. November 2010 Rekurs ein. Er beantragte die Überweisung der Strafsache an das zuständige Gericht und ersuchte zudem um Gewährung unentgeltlicher Rechtspflege. Mit Entscheid vom 25. März 2011 trat das Obergericht des Kantons Luzern auf den Rekurs nicht ein. Eine dagegen erhobene Beschwerde hiess das Bundesgericht mit Urteil vom 15. Juli 2011 gut und wies die Sache zur neuen Beurteilung an die Vorinstanz zurück (Verfahren 1B_236/2011). Das erneut mit der Sache befasste Obergericht trat mit Beschluss vom 30. November 2011 auf das Rechtsmittel ein, wies es jedoch in der Sache ab. B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 26. Januar 2012 beantragt X._, der Beschluss des Obergerichts vom 30. November 2011 sei aufzuheben, die Strafanzeige wegen falscher Beschuldigung sei gutzuheissen und die Vorinstanz sei anzuweisen, im Sinne der Erwägungen über die Strafe und die adhäsionsweise geltend gemachten Zivilforderungen zu entscheiden. Das Obergericht beantragt, auf die Beschwerde nicht einzutreten und eventualiter, sie abzuweisen. Die Oberstaatsanwaltschaft und die Beschwerdegegnerin haben auf eine Stellungnahme verzichtet. In seiner Replik hält der Beschwerdeführer an seinen Anträgen und Rechtsauffassungen fest.