Sachverhalt: A. Im Rahmen eines Streites stach A._ am 5. September 2005 in Zürich ihrem Ehemann mit einem Taschenmesser zweimal in die Brust. Dabei verletzte ein Stich das Herz, was zum Tod des Opfers führte. B. Das Obergericht des Kantons Zürich, II. Strafkammer, verurteilte A._ am 7. März 2008 wegen vorsätzlicher Tötung zu 3 Jahren und 9 Monaten Freiheitsstrafe. Das Gericht billigte ihr dabei zu, in Überschreitung der Grenzen der Notwehr gehandelt zu haben. C. Mit Beschwerde in Strafsachen beantragt die Oberstaatsanwaltschaft des Kantons Zürich, das Urteil des Obergerichts sei aufzuheben und die Sache zur Ausfällung einer markant höheren Strafe zurückzuweisen. Während die Vorinstanz auf eine Vernehmlassung verzichtet hat, beantragt die Beschwerdegegnerin, die Beschwerde sei abzuweisen.