Sachverhalt:
A. Der 1986 geborene B._ war seit 25. August 2008 als Mitarbeiter im Stundenlohn bei der X._ GmbH angestellt. Diese kündigte mit Schreiben vom 28. Januar 2009 das Arbeitsverhältnis auf den 28. Februar 2009. Am 18. Februar 2009 verlangte B._ mit eingeschriebener Sendung die ausstehenden Löhne für die Monate Dezember 2008 und Januar 2009. Bereits kurz nach Auflösung des Arbeitsverhältnisses leitete er am 17. März 2009 für den ausstehenden Lohn von Fr. 15'899.25 (zuzüglich Zins von 5 % seit dem 1. Februar 2009) Betreibung ein. Es wurde kein Rechtsvorschlag erhoben. B._ beantragte am 26. Mai 2009 Insolvenzentschädigung für nicht bezahlten Lohn inklusive Ferienentschädigung, Anteil 13. Monatslohn und Spesen für die Monate Dezember 2008 bis Februar 2009 im Gesamtbetrag von Fr. 17'856.15. Am 17. September 2009 wurde über die X._ GmbH der Konkurs eröffnet. Die Arbeitslosenkasse des Kantons Zürich verneinte mit Verfügung vom 3. Dezember 2009 einen Anspruch auf Insolvenzentschädigung, da der Gesuchsteller seine Schadenminderungspflicht gegenüber der Arbeitslosenversicherung verletzt habe, indem er nach der Bescheinigung vom 24. April 2009, dass gegen seine Betreibung kein Rechtsvorschlag erhoben worden sei, bis zur Konkurseröffnung am 17. September 2009 gegen seine Arbeitgeberin nichts weiteres unternommen habe. Mit Einspracheentscheid vom 21. Mai 2010 hielt die Arbeitslosenkasse an ihrem Standpunkt fest.
B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 27. Dezember 2011 ab.
C. B._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, in Aufhebung des vorinstanzlichen Entscheides sei ihm eine Insolvenzentschädigung in der Höhe von Fr. 15'899.25 auszurichten. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Arbeitslosenkasse des Kantons Zürich schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Staatssekretariat für Wirtschaft verzichtet auf eine Stellungnahme.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. 2.1 Im angefochtenen Gerichtsentscheid werden die Bestimmungen und Grundsätze zum Anspruch auf Insolvenzentschädigung (Art. 51 Abs. 1 und Art. 58 AVIG; vgl. auch <ref-ruling>), zum Umfang des Anspruchs (Art. 52 Abs. 1 AVIG) sowie zu den Pflichten des Arbeitnehmers im Konkurs- oder Pfändungsverfahren (Art. 55 Abs. 1 AVIG; <ref-ruling> E. 3d S. 59; ARV 2002 Nr. 8 S. 62, C 91/01, und Nr. 30 S. 190, C 367/01; ARV 1999 Nr. 24 S. 140, C 183/97) zutreffend dargelegt. Darauf wird verwiesen.
2.2 Die Bestimmung von Art. 55 Abs. 1 AVIG, wonach der Arbeitnehmer im Konkurs- oder Pfändungsverfahren alles unternehmen muss, um seine Ansprüche gegenüber dem Arbeitgeber zu wahren, bezieht sich dem Wortlaut nach auf das Konkurs- und Pfändungsverfahren. Sie bildet jedoch Ausdruck der allgemeinen Schadenminderungspflicht, welche auch dann Platz greift, wenn das Arbeitsverhältnis vor der Konkurseröffnung aufgelöst wird (<ref-ruling> E. 4 S. 60; ARV 1999 Nr. 24 S. 140, C 183/97). Die Vorinstanz hält in diesem Zusammenhang richtig fest, auch eine ursprüngliche Leistungsverweigerung infolge Verletzung der Schadenminderungspflicht im Sinne der zu Art. 55 Abs. 1 AVIG ergangenen Rechtsprechung (E. 2.1 hiervor) setze voraus, dass dem Versicherten ein schweres Verschulden, also vorsätzliches oder grobfahrlässiges Handeln oder Unterlassen vorgeworfen werden kann (vgl. URS BURGHERR, Die Insolvenzentschädigung, S. 166). Das Ausmass der geforderten Schadenminderungspflicht richtet sich nach den jeweiligen Umständen des Einzelfalls.
3. Vorliegend ist umstritten, ob der Beschwerdeführer vor der Konkurseröffnung vom 17. September 2009 seiner Schadenminderungspflicht nachgekommen ist.
4. Das kantonale Gericht hat auf Grund der Akten erkannt, dass dem Beschwerdeführer bis und mit dem Monat November 2008 der Lohn bezahlt wurde, dass er am 18. Februar 2009 die ausstehenden Löhne für Dezember 2008 und Januar 2009 schriftlich mahnte und am 17. März 2009 die Betreibung seiner Forderung einleitete. Als grobe Verletzung der Schadenminderungspflicht würdigte es die Tatsache, dass der Versicherte, nachdem ihm am 24. April 2009 vom Betreibungsamt mitgeteilt worden war, die Schuldnerin habe keinen Rechtsvorschlag erhoben, bis zum 10. September 2009 zugewartet hatte, bis er ein Begehren um Fortsetzung der Betreibung stellte.
5. Wie in Erwägung 2.2 dargelegt, ist das Ausmass der geforderten Schadenminderungspflicht immer nach den jeweiligen Umständen des Einzelfalls zu prüfen. Die Lehre geht denn auch davon aus, dass an die Arbeitnehmenden nicht übertriebene Anforderungen gestellt werden dürfen (so Thomas Nussbaumer, Arbeitslosenversicherung, in: Soziale Sicherheit, SBVR Bd. XIV, 2. Aufl. 2007, S. 2368 Rz. 623 mit Hinweisen).
5.1 Die erste ausstehende Lohnforderung betrifft den Monat Dezember 2008. Da der Arbeitnehmer vorleistungspflichtig ist (Art. 323 Abs. 1 OR) und Lohnzahlungen für bereits Geleistetes erfolgt, wusste der Versicherte frühestens Ende des Monats vom Ausstand. Der Beschwerdeführer wandte sich sofort an seine Rechtsschutzversicherung, damit diese alles Nötige unternehme, um seine Forderung zu realisieren. So erfolgte die erste Mahnung unter Ansetzung einer kurzen Frist bereits mit eingeschriebener Sendung vom 18. Februar 2009. Am 17. März 2009, und damit nur kurze Zeit nach Verstreichen dieser Frist, leitete der Beschwerdeführer die Betreibung ein. Bis zu diesem Zeitpunkt kann das Verhalten des Beschwerdeführers sowohl in der Qualität als auch hinsichtlich des Zeitraumes des Handelns geradezu als vorbildlich für die Geltendmachung von ausstehenden Löhnen bewertet werden. Dass er nach der Mitteilung vom 24. April 2009, es sei kein Rechtsvorschlag erhoben worden, nicht sofort das Fortsetzungsbegehren gestellt hat, ist vorliegend unter Berücksichtigung, dass es sich beim Beschwerdeführer um einen juristischen Laien handelt, nicht als grobes Verschulden zu qualifizieren. Die vorinstanzliche Feststellung, der Beschwerdeführer habe nach Kenntnis des nicht erhobenen Rechtsvorschlags während rund viereinhalb Monaten tatenlos gewartet, bis er mit dem Begehren um Fortsetzung der Betreibung den notwendigen rechtlichen Schritt unternommen hat, entspricht nicht den aktenmässig erstellten Verhältnissen. Der Antrag auf Insolvenzentschädigung am 25. Mai 2009 und damit die Kontaktaufnahme mit einer Behörde, die für die Durchführung der Arbeitslosenversicherung zuständig ist, entspricht in Anbetracht der bis zu diesem Zeitpunkt bereits erfolgten Schritte zur Geltendmachung des Anspruchs weiterhin einem zielgerichteten Verhalten. Dass die Arbeitslosenkasse der Y._, bei welcher das Gesuch eingereicht wurde, bis zum 8. Juli 2009 zuwartete, bis sie es an die zuständige Arbeitslosenkasse des Kantons Zürich weiterleitete, hat nicht der Beschwerdeführer zu verantworten. Erst letztere machte diesen mit Schreiben vom 23. Juli 2009 darauf aufmerksam, dass er vorerst das Betreibungsverfahren bis zum Konkurs führen müsse. Dieser Schritt erfolgte am 10. September und damit nur eineinhalb Monate später. Ob er von diesem Brief wegen Ferienabwesenheit erst verspätet oder gar nicht Kenntnis genommen hat, wie letztinstanzlich und damit als Novum vorgebracht wird, mag dahingestellt bleiben, da das Verhalten unabhängig davon nicht als grobe Verletzung der Schadenminderungspflicht zu werten ist.
5.2 Das kantonale Gericht beruft sich in seinen Erwägungen auf das Urteil 8C_462/2009 vom 3. August 2009. Das ist insofern unbehelflich, als sich der rechtserhebliche Sachverhalt in jenem Fall anders darstellte. Im angeführten Urteil haben die Arbeitnehmer nach der ersten Geltendmachung der Lohnforderung zehn Monate zugewartet, bis sie die nächste zielgerichtete Handlung unternahmen. Danach war bis zur Anhängigmachung des Rechtsöffnungsbegehrens wiederum ein Jahr vergangen. Zwischen diesem und der Konkursandrohung verstrichen fünf Monate, was im Urteil als "zeitgerecht" qualifiziert wird. Die betroffenen Arbeitnehmer waren zudem Verwaltungsräte der Arbeitgeberin und damit geschäftserfahren, was vom Beschwerdeführer nicht behauptet werden kann. Das Bundesgericht hatte im angeführten Urteil insbesondere den Umstand als grobfahrlässig gewürdigt, dass die Betroffenen mehr als sechs Monate verstreichen liessen, bis sie das Fortsetzungsbegehren stellten.
Zusammenfassend wiegt eine Verletzung der Schadenminderungspflicht nach den gesamten Umständen nicht derart schwer, dass sie mit einer Leistungsverweigerung zu sanktionieren ist.
6. Nach dem Gesagten ist die Sache an die Arbeitslosenkasse zurückzuweisen, damit sie die weiteren Anspruchsvoraussetzungen prüfe und über den Anspruch auf Insolvenzentschädigung neu verfüge.
7. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Der obsiegende Beschwerdeführer hat keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 2 BGG), da er nicht anwaltlich vertreten ist und keine besonderen Verhältnisse vorliegen, die eine Entschädigung für weitere Umtriebe rechtfertigten. Die Voraussetzungen, die gemäss <ref-ruling> f. E. 4d kumulativ gegeben sein müssen, damit eine solche Ausnahmesituation anzunehmen ist, sind: komplexe Sache mit hohem Streitwert, hoher Arbeitsaufwand, vernünftiges Verhältnis zwischen dem betriebenen Aufwand und dem Ergebnis der Interessenwahrung (vgl. <ref-ruling> E. 4.1 S. 116 mit Hinweisen). Der Umstand, dass sich der Beschwerdeführer juristisch beraten liess und dafür ein Honorar zu bezahlen hat, rechtfertigt die Zusprechung einer Parteientschädigung nicht (vgl. Urteil C 90/02 vom 14. April 2005 E. 6).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 27. Dezember 2011 und der Einspracheentscheid der Arbeitslosenkasse des Kantons Zürich vom 21. Mai 2010 aufgehoben werden. Die Sache wird an die Arbeitslosenkasse zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch auf Insolvenzentschädigung neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Der Beschwerdeführer hat keinen Anspruch auf eine Parteientschädigung.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 27. August 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Schüpfer