Sachverhalt:
A. X._ erstattete am 7. Mai 2009 bei der Staatsanwaltschaft Zürich-Limmat gegen ihre Schwester Y._ Anzeige wegen Veruntreuung gemäss <ref-law>. Zur Begründung führte sie aus, ihre Schwester habe von Konten ihres gemeinsamen Vaters namhafte Geldbeträge abgehoben und diese veruntreut.
B. Die Staatsanwaltschaft verfügte am 28. März 2011 wegen fehlender Anklagebegründetheit die Einstellung des Verfahrens. Mit Entscheid vom 22. März 2012 trat das Obergericht des Kantons Zürich auf eine von X._ dagegen erhobene Beschwerde wegen fehlender Beschwerdelegitimation nicht ein.
C. X._ führt Beschwerde in Strafsachen beim Bundesgericht, mit dem Antrag, den Entscheid des Obergerichts aufzuheben und die Sache zur neuen Beurteilung und Entscheidung an die Vorinstanz zurückzuweisen. Die Beschwerdegegnerin beantragt, die Beschwerde sei abzuweisen. Die Staatsanwaltschaft und das Obergericht haben auf eine Vernehmlassung verzichtet. X._ hält mit einer weiteren Eingabe vom 16. August 2012 an ihrem Antrag fest.

Erwägungen:
1. 1.1 Zur Beschwerde in Strafsachen ist nach <ref-law> berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a) und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (lit. b). Die Beschwerdeführerin macht unter anderem geltend, nicht nur Anzeigeerstatterin, sondern als Mitglied der Erbengemeinschaft ihrer inzwischen verstorbenen Eltern Gesamteigentümerin der Vermögenswerte zu sein, deren Veruntreuung in Frage steht. Sie sei somit als Privatklägerin betroffen. Nach Art. 81 Abs. 1 lit. b Ziff. 5 BGG besteht für die Privatklägerschaft dann ein rechtlich geschütztes Interesse zur Beschwerdeführung vor dem Bundesgericht, wenn sich der angefochtene Entscheid auf die Beurteilung ihrer Zivilansprüche auswirken kann. Bei Einstellung des Strafverfahrens reicht es aus, im Verfahren vor Bundesgericht gemäss den Anforderungen von <ref-law> darzulegen, aus welchen Gründen und inwiefern sich der angefochtene Entscheid auf Zivilforderungen auswirken kann (<ref-ruling> E. 1.3.1. S. 248 mit Hinweisen). Diese Voraussetzung ist hier erfüllt.
1.2 Die Beschwerdeführerin hat am vorinstanzlichen Verfahren teilgenommen und ist durch den Nichteintretensentscheid formell beschwert. Sie ist zur Beschwerde befugt, soweit sie rügt, die Vorinstanz habe ihr zu Unrecht die Legitimation zur Anfechtung des Einstellungsbeschlusses abgesprochen. Die Beschwerde erweist sich demnach als zulässig.
1.3 Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist somit einzutreten.
2. 2.1 Streitgegenstand ist die strafprozessuale Beschwerdelegitimation der Beschwerdeführerin vor der Vorinstanz. Die Beschwerdeführerin erhob beim Obergericht gegen die Einstellungsverfügung der Staatsanwaltschaft Beschwerde gemäss <ref-law>. Als Anzeigeerstatterin und angeblich Geschädigte ist sie eine Verfahrensbeteiligte gemäss Art. 105 Abs. 1 lit. a bzw. b StPO. Verfahrensbeteiligten stehen, wenn sie in ihren Rechten unmittelbar betroffen sind, die zur Wahrung ihrer Interessen erforderlichen Verfahrensrechte einer Partei zu (<ref-law>); dazu zählt das Beschwerderecht. Für die Legitimation der Beschwerdeführerin auf kantonaler Ebene ist <ref-law> massgeblich: Nach Abs. 1 dieser Bestimmung kann jede Partei, die ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung eines Entscheides hat, ein Rechtsmittel ergreifen. Zur Beschwerde gegen die Einstellung legitimiert sind diejenigen Verfahrensbeteiligten, die ein rechtlich geschütztes Interesse an deren Aufhebung haben, d.h. durch die Einstellungsverfügung beschwert sind. Zu diesem Kreis gehören die Privatkläger. Geschädigte, die sich bis zum Abschluss des Vorverfahrens nicht als Privatkläger konstituiert haben, können die Einstellungsverfügung mangels Parteistellung allerdings grundsätzlich nicht anfechten (Art. 118 Abs. 3 i.V.m. Art. 322 Abs. 2 und <ref-law>). Unter Berücksichtigung des Anspruchs auf rechtliches Gehörs gilt diese Einschränkung dann nicht, wenn die geschädigte Person noch keine Gelegenheit hatte, sich zur Frage der Konstituierung zu äussern, so etwa wenn eine Einstellung ergeht, ohne dass die Strafverfolgungsbehörde die geschädigte Person zuvor auf ihr Konstituierungsrecht aufmerksam gemacht hat (vgl. Urteil des Bundesgerichts 1B_236/2011 vom 15. Juli 2011 E. 2, nicht publ. in: <ref-ruling>; GRÄDEL/HEINIGER, in: Basler Kommentar StPO, 2011, N. 6 zu Art. 322; NIKLAUS SCHMID, Schweizerische Strafprozessordnung - Praxiskommentar, 2009, N. 6 zu Art. 322 und N. 5 zu <ref-law>; Botschaft vom 21. Dezember 2005 zur Vereinheitlichung des Strafprozesses, BBl 2005 1308 Fn. 427). Die Strafverfolgungsbehörden trifft denn auch eine entsprechende Auf- und Abklärungspflicht (vgl. <ref-law>), deren Versäumnis nicht zu einer Verwirkung der Verfahrensrechte der geschädigten Person führen soll.
2.2 Im vorliegenden Fall hat die Staatsanwaltschaft das Verfahren eingestellt, ohne der Beschwerdeführerin zuvor die Gelegenheit gegeben zu haben, sich als Privatklägerin zu konstituieren. Unter diesen Umständen würde zur Bejahung der Beschwerdelegitimation auf kantonaler Ebene genügen, dass die Beschwerdeführerin wie behauptet Geschädigte im Sinne von <ref-law> ist, d.h. durch die Straftat in ihren Rechten unmittelbar verletzt worden ist. Ihre formelle Konstituierung als Privatklägerin war nicht erforderlich.
2.2 Im vorliegenden Fall hat die Staatsanwaltschaft das Verfahren eingestellt, ohne der Beschwerdeführerin zuvor die Gelegenheit gegeben zu haben, sich als Privatklägerin zu konstituieren. Unter diesen Umständen würde zur Bejahung der Beschwerdelegitimation auf kantonaler Ebene genügen, dass die Beschwerdeführerin wie behauptet Geschädigte im Sinne von <ref-law> ist, d.h. durch die Straftat in ihren Rechten unmittelbar verletzt worden ist. Ihre formelle Konstituierung als Privatklägerin war nicht erforderlich.
2.3 2.3.1 Zwischen den Verfahrensbeteiligten ist zunächst strittig, ob die Beschwerdeführerin aus der behaupteten Veruntreuung ihrer Schwester unmittelbar geschädigt und damit nach <ref-law> beschwerdelegitimiert ist. Diesbezüglich begründete die Vorinstanz ihren Nichteintretensentscheid damit, die Beschwerdeführerin habe nie geltend gemacht, dass sie selbst durch eine allfällige Veruntreuung seitens der Beschwerdegegnerin geschädigt worden sei; sie habe vor der Staatsanwaltschaft erklärt, es handle sich bei den verschwundenen Geldern um das Vermögen, welches rechtmässig ihrem Vater gehöre. Die Beschwerdeführerin wendet dagegen ein, dass es entgegen der vorinstanzlichen Feststellung unklar sei, ob die in Frage stehenden Gelder effektiv dem Vermögen des Vaters oder nicht eher demjenigen seiner vorverstorbenen Ehefrau und Mutter der Beschwerdeführerin bzw. deren Erbmasse zuzurechnen seien. Sie selbst habe nach dem Tod ihrer Mutter grundsätzlich Anspruch auf einen Viertel des Nachlasses, womit sie durch die Einstellungsverfügung unmittelbar in ihren Rechten betroffen sei und an der Aufhebung des Entscheides ein rechtlich geschütztes Interesse habe.
2.3.2 Als geschädigte Person gilt wie erwähnt eine Person, die durch die Straftat in ihren Rechten unmittelbar verletzt worden ist (<ref-law>). Unmittelbar verletzt sind die Rechtsgutsträger, die durch die fragliche Strafbestimmung geschützt werden sollen (<ref-ruling> E. 1.5 S. 223 mit Hinweisen). Bloss mittelbar verletzt und daher ausserhalb des persönlichen Anwendungsbereichs von <ref-law> sind die Rechtsnachfolger der unmittelbar verletzten Person, so auch deren Erben (vgl. MAZZUCCHELLI/POSTIZZI, in: Basler Kommentar StPO, 2011, N. 26 zu Art. 115).
2.3.3 Wie aus den Akten hervorgeht, sind die strafrechtlich untersuchten Geldbezüge noch zu Lebzeiten der Mutter und des Vaters erfolgt, womit sie in eine Zeit fallen, in der die Beschwerdeführerin die Elternteile, welche die Rückzüge tätigten, noch nicht beerbt hatte (Art. 537 Abs. 1 e contrario ZGB). Die Beschwerdeführerin ist demnach entgegen ihren Vorbringen nicht unmittelbar Geschädigte der von ihrer Schwester behaupteterweise veruntreuten Vermögenswerte. Die umstrittene Frage, ob die betreffenden Bankkonten zum vormaligen Vermögen des Vaters oder der Mutter gehörten, ist damit nicht rechtserheblich, da die fraglichen Vorfälle ohnehin die Rechtsgüter der Eltern und nicht diejenigen der Beschwerdeführerin betroffen haben. Die Vorinstanz ist somit zu Recht davon ausgegangen, dass die Beschwerdeführerin nicht unmittelbar Geschädigte im Sinne von <ref-law> ist und sich deshalb nicht als Privatklägerin konstituieren kann. Sie ist zur Beschwerde gegen die Einstellungsverfügung gemäss <ref-law> nicht legitimiert gewesen.
2.3.3 Wie aus den Akten hervorgeht, sind die strafrechtlich untersuchten Geldbezüge noch zu Lebzeiten der Mutter und des Vaters erfolgt, womit sie in eine Zeit fallen, in der die Beschwerdeführerin die Elternteile, welche die Rückzüge tätigten, noch nicht beerbt hatte (Art. 537 Abs. 1 e contrario ZGB). Die Beschwerdeführerin ist demnach entgegen ihren Vorbringen nicht unmittelbar Geschädigte der von ihrer Schwester behaupteterweise veruntreuten Vermögenswerte. Die umstrittene Frage, ob die betreffenden Bankkonten zum vormaligen Vermögen des Vaters oder der Mutter gehörten, ist damit nicht rechtserheblich, da die fraglichen Vorfälle ohnehin die Rechtsgüter der Eltern und nicht diejenigen der Beschwerdeführerin betroffen haben. Die Vorinstanz ist somit zu Recht davon ausgegangen, dass die Beschwerdeführerin nicht unmittelbar Geschädigte im Sinne von <ref-law> ist und sich deshalb nicht als Privatklägerin konstituieren kann. Sie ist zur Beschwerde gegen die Einstellungsverfügung gemäss <ref-law> nicht legitimiert gewesen.
2.4 2.4.1 Die Beschwerdeführerin begründet ihre Beschwerdelegitimation im Weiteren mit ihrer Stellung als Rechtsnachfolgerin des geschädigten Vaters, dessen Vermögen durch ihre Schwester veruntreut worden sei. Nach <ref-law> können nach dem Tod der Privatklägerschaft die Angehörigen im Sinne von <ref-law> in der Reihenfolge ihrer Erbberechtigung ein Rechtsmittel ergreifen, soweit sie in ihren rechtlich geschützten Interessen betroffen sind. Diese Bestimmung ist zusammen mit der Grundnorm von <ref-law> zu lesen: Stirbt demnach die geschädigte Person, ohne auf ihre Verfahrensrechte als Privatklägerschaft verzichtet zu haben, gehen ihre Rechte auf die Angehörigen über. Stirbt aber die geschädigte Person nach Abschluss des Vorverfahrens, ohne sich als Privatklägerschaft konstituiert zu haben, ist dieses Recht auch für die Angehörigen verwirkt (<ref-law>; vgl. MAZZUCCHELLI/POSTIZZI, a.a.O., N 9 zu Art. 121). Voraussetzung dafür ist, dass die geschädigte Person während des Vorverfahrens die Gelegenheit hatte, sich als Privatklägerin zu konstituieren (vgl. <ref-law>). Diese Verwirkungsfolge soll verhindern, dass das Konstituierungsrecht für die Rechtsnachfolger unmittelbar Geschädigter länger Bestand hat, als für die Geschädigten selbst. Das Konstituierungsrecht der Geschädigten verwirkt sodann im Grundsatz mit Abschluss des Vorverfahrens, haben sich die Betroffenen bis dahin nicht positiv als Privatkläger konstituiert (vgl. oben E. 2.1).
2.4.2 Die Strafverfolgungsbehörde hatte den Vater bzw. seinen Beistand im Vorverfahren angefragt, ob sie sich am Verfahren als Privatkläger beteiligen wollten, worauf die Beistandschaft unter Rücksprache mit dem Rechtsdienst der Sozialen Dienste der Stadt Zürich verzichtete. Ob der Beistand zu dieser Verzichtserklärung ermächtigt gewesen ist bzw. die Rücksprache mit dem erwähnten Rechtsdienst eine rechtsgültige Zustimmung der Vormundschaftsbehörde darstellt, kann entgegen den Vorbringen der Beschwerdeführerin offen bleiben. Denn aus strafprozessualer Sicht ist nicht entscheidend, ob die Privatklägerschaft auf eine Konstituierung ausdrücklich und rechtsgültig verzichtet hat. Verbindliche Wirkung kommt demgegenüber der rechtzeitigen Erklärung zu, als Privatkläger mitwirken zu wollen. So hätte sich der Geschädigte oder seine Vertretung im vorliegenden Fall bis zur Einstellungsverfügung konstituieren müssen, um die Verfahrensrechte der Privatklägerschaft auch für die Rechtsnachfolger zu wahren. Konkret hätte der Mandatsträger positiv erklären müssen, sich im Namen des Verbeiständeten konstituieren zu wollen. Diese Erklärung blieb in Anbetracht des vorliegenden Verzichts - sei dieser rechtsgültig oder nicht - jedenfalls aus. Strafprozessual ist auch der Umstand unerheblich, dass der Vater in seinem geistigen Zustand seit Eröffnung des Strafverfahrens bis zu seinem Tod nicht fähig war, selbständig über eine Konstituierung zu entscheiden. Unter Berücksichtigung prozessualer Geschädigtenrechte bleibt letztlich entscheidend, dass die Strafverfolgungsbehörde den Geschädigten bzw. dessen Vertretung rechtzeitig darauf aufmerksam gemacht hatte, sich als Privatkläger konstituieren zu können (<ref-law>). Mangels positiver Konstituierungserklärung durch den Geschädigten zu seinen Lebzeiten ist dieses Recht nach Abschluss des Vorverfahrens verwirkt, womit es die Beschwerdeführerin für ihren verstorbenen Vater auf Beschwerdeebene nicht mehr ausüben kann. Indem die Vorinstanz auf die Beschwerde nicht eingetreten ist, hat sie sich demnach nicht in Widerspruch zu <ref-law> gesetzt.
2.5 Der angefochtene Entscheid verstösst somit nicht gegen Bundesrecht.
3. Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
4. Bei diesem Verfahrensausgang wird die unterliegende Beschwerdeführerin kostenpflichtig (<ref-law>, <ref-law>). Überdies hat sie die anwaltlich vertretene Beschwerdegegnerin für das bundesgerichtliche Verfahren angemessen zu entschädigen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Staatsanwaltschaft Zürich-Limmat und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 27. August 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Geisser