Sachverhalt: A. A._ (geb. 1974) stammt aus Peru. Er reiste erstmals am 13. Juli 2001 mit einem dreimonatigem Visum in die Schweiz ein. Am 15. September 2001 heiratete er die in der Schweiz aufenthaltsberechtigte Peruanerin B._. Nach Ablauf des Visums verliess er die Schweiz am 6. November 2001. Am 6. Juni 2002 reise er erneut in die Schweiz ein und erhielt im Rahmen des Familiennachzugs am 27. Juni 2002 eine Aufenthaltsbewilligung. Am 5. September 2007 erhielt er eine Niederlassungsbewilligung und am 19. Mai 2008 wurde die (kinderlos gebliebene) Ehe geschieden. Am 22. Dezember 2012 heiratete A._ die Schweizer Bürgerin C._. Am 26. September 2011 wurde A._ vom Migrationsamt wegen fortlaufendem Sozialhilfebezugs darauf hingewiesen, dass seine Niederlassungsbewilligung widerrufen werden könne, wenn er weiterhin auf Sozialhilfe angewiesen sein sollte. Mit Urteil des Bezirksgericht Zürich vom 4. September 2012 wurde A._ wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz sowie mehrfacher Übertretungen des Betäubungsmittelgesetzes zu einer bedingten Freiheitsstrafe von zwei Jahren, unter Ansetzung einer Probezeit von zwei Jahren sowie einer Busse, verurteilt. B. Mit Verfügung vom 14. Juni 2013 widerrief das Migrationsamt die Niederlassungsbewilligung von A._ und wies ihn aus der Schweiz weg. Den dagegen erhobenen Rekurs lehnte die Rekursabteilung der Sicherheitsdirektion am 10. Oktober 2013 ab. Die hiergegen erhobene Beschwerde an das Verwaltungsgericht wurde am 12. Februar 2014 gutgeheissen. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 31. März 2014 beantragt das Bundesamt für Migration dem Bundesgericht, den Entscheid des Verwaltungsgerichts vom 12. Februar 2014 aufzuheben. Das Verwaltungsgericht des Kantons Zürich beantragt die Abweisung der Beschwerde. Der Beschwerdegegner beantragt, auf die Beschwerde sei nicht einzutreten, eventuell sei diese abzuweisen.