Sachverhalt: A. X._ reiste am 25. April 2002 in die Schweiz ein und stellte in Vallorbe ein Asylgesuch. Das damals zuständige Bundesamt für Flüchtlinge (BFF) wies das Gesuch am 30. Oktober 2002 ab und ordnete die Wegweisung aus der Schweiz und den Vollzug an. Auf Beschwerde von X._ hin bestätigte die Schweizerische Asylrekurskommission (ARK) den Entscheid des BFF mit Urteil vom 18. Februar 2003. X._ wurde in der Folge wiederholt zum Verlassen der Schweiz aufgefordert, letztmals am 28. März 2008 nach Verbüssung einer Freiheitsstrafe von 90 Tagen wegen Widerhandlung gegen das Ausländergesetz im Sinne von Art. 115 Abs. 1 lit. b AuG. Mit Anklageschrift vom 17. Dezember 2010 wird X._ vorgeworfen, er habe sich von Anfang April 2008 bis zum 6. Dezember 2010 in der Schweiz aufgehalten, obwohl er aufgrund der rechtskräftigen Abweisung des Asylgesuchs und der Anordnung der Wegweisung gewusst habe, dass er das Land seit dem 30. Oktober 2002 hätte verlassen müssen. Stattdessen habe er sich weiterhin hier aufgehalten, den Behörden eine falsche Nationalität angegeben und sich keine Reisepapiere beschafft, obwohl ihm dies möglich gewesen wäre. B. Der Einzelrichter des Bezirksgerichts Zürich sprach X._ am 10. Februar 2011 wegen illegalen Aufenthalts im Sinne von Art. 115 Abs. 1 lit. b AuG schuldig und bestrafte ihn mit einer unbedingten Freiheitsstrafe von sechs Monaten. Gegen diesen Entscheid legte X._ Berufung beim Obergericht des Kantons Zürich ein, welches ihn mit Urteil vom 5. September 2011 von Schuld und Strafe freisprach. C. Die Oberstaatsanwaltschaft des Kantons Zürich wendet sich mit Beschwerde in Strafsachen an das Bundesgericht. Sie beantragt, das obergerichtliche Urteil vom 5. September 2011 sei wegen Verletzung von Bundesrecht aufzuheben und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. D. Es wurden keine Vernehmlassungen eingeholt.