Sachverhalt: A. X._ erstattete am 7. Mai 2009 bei der Staatsanwaltschaft Zürich-Limmat gegen ihre Schwester Y._ Anzeige wegen Veruntreuung gemäss Art. 138 StGB. Zur Begründung führte sie aus, ihre Schwester habe von Konten ihres gemeinsamen Vaters namhafte Geldbeträge abgehoben und diese veruntreut. B. Die Staatsanwaltschaft verfügte am 28. März 2011 wegen fehlender Anklagebegründetheit die Einstellung des Verfahrens. Mit Entscheid vom 22. März 2012 trat das Obergericht des Kantons Zürich auf eine von X._ dagegen erhobene Beschwerde wegen fehlender Beschwerdelegitimation nicht ein. C. X._ führt Beschwerde in Strafsachen beim Bundesgericht, mit dem Antrag, den Entscheid des Obergerichts aufzuheben und die Sache zur neuen Beurteilung und Entscheidung an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerin beantragt, die Beschwerde sei abzuweisen. Die Staatsanwaltschaft und das Obergericht haben auf eine Vernehmlassung verzichtet. X._ hält mit einer weiteren Eingabe vom 16. August 2012 an ihrem Antrag fest.