Sachverhalt:
A. Das Bezirksgericht Zürich sprach X._ am 17. April 2009 der Gewalt und Drohung gegen Behörden und Beamte im Sinne von <ref-law> schuldig und verurteilte ihn zu einer Geldstrafe von 45 Tagessätzen à Fr. 45.--, bedingt aufgeschoben bei einer Probezeit von zwei Jahren, sowie zu einer Busse von Fr. 300.--.
B. X._ erhob gegen diesen Entscheid Berufung beim Obergericht des Kantons Zürich. Dieses sprach ihn mit Urteil vom 29. Januar 2010 frei und richtete ihm eine Prozess- und Umtriebsentschädigung sowie eine Genugtuung aus.
C. Die Oberstaatsanwaltschaft des Kantons Zürich erhebt Beschwerde in Strafsachen beim Bundesgericht. Sie beantragt, das vorinstanzliche Urteil sei aufzuheben, und X._ sei der Gewalt und Drohung gegen Behörden und Beamte schuldig zu sprechen. Es seien ihm die Verfahrenskosten aufzuerlegen und ihm weder eine Prozess- noch Umtriebsentschädigung sowie eine Genugtuung zuzusprechen. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
D. Die Vorinstanz verzichtet auf eine Vernehmlassung. Der Beschwerdegegner beantragt, die Beschwerde sei abzuweisen und das vorinstanzliche Urteil zu bestätigen. Zudem seien die Verfahrenskosten auf die Staatskasse zu nehmen, und ihm sei für das vorliegende Verfahren eine angemessene Prozessentschädigung auszurichten.

Erwägungen:
1. Der Beschwerdegegner soll gemäss Anklageschrift am 3. Juli 2008 im Betreibungsamt in Zürich 3, im Büro des Betreibungsbeamten A._ ausgerastet und einen Plastikhalter für Schreibzeug auf dessen Pult geworfen haben. Die laute verbale Auseinandersetzung sei vom Betreibungsbeamten B._ gehört worden, worauf dieser hinzutrat. Im Laufe der weiteren Auseinandersetzung habe der Beschwerdegegner dem Betreibungsbeamten A._, als die beiden zusammen mit B._ vor dem Lift gewartet hätten, mehrfach in ruhigem Ton gesagt: "Ich bringe Sie um" sowie auf dessen Nachfrage, ob er richtig gehört habe: "Ja, und ich mache wirklich, was ich sage".
2. 2.1 Die Beschwerdeführerin macht geltend, die Aussage des Beschwerdegegners, er habe weder den Betreibungsbeamten A._ bedroht noch mit Gewalt auf dessen Bürotisch geschlagen, sondern sei vielmehr im Büro anständig gewesen, sei schlicht unglaubhaft. Er habe ausgesagt, aufgrund der Lohnpfändung Angst gehabt zu haben, seine Stelle zu verlieren; gleichzeitig habe er aber zu Protokoll gegeben, von seinem Arbeitgeber von der Lohnpfändung erfahren zu haben. Die Angst vor diesem sei deshalb als Schutzbehauptung einzustufen. Widersprüchlich seien auch die Aussagen hinsichtlich des Betreibungsbeamten und Zeugen B._, der zunächst im Laufe der Auseinandersetzung zum Beschwerdegegner und A._ hinzugestossen sein soll, während der Beschwerdegegner später ausgesagt habe, B._ das erste Mal anlässlich der Einvernahme bei der Staatsanwaltschaft gesehen zu haben. Die Aussagen der beiden Betreibungsbeamten seien dagegen konstant und deckten sich.
Die Argumentation der Vorinstanz sei willkürlich, weil sie einerseits die Aussagen der beiden Betreibungsbeamten als glaubhaft einstufe, andererseits aber zum Schluss komme, der Beschwerdegegner habe sich sprachlich nicht so ausdrücken können, wie er dies gerne getan hätte, weshalb ein sprachliches Missverständnis vorliege, das nicht als reine Schutzbehauptung zu betrachten sei. Die Vorinstanz hätte die Aussage des Beschwerdegegners, "ich bringe Sie um", als erstellt erachten müssen (Beschwerde, S. 4 f.).
2.2 Die Vorinstanz erachtet die Aussagen des Betreibungsbeamten A._ deshalb als glaubhaft, weil sie schlüssig, nachvollziehbar und frei von wesentlichen Widersprüchen seien. Es sei kein Grund erkennbar, weshalb er den Beschwerdegegner zu Unrecht belasten sollte, zumal er keine Zivilansprüche stelle. Gemäss seiner Schilderung habe der Beschwerdegegner gedroht, ihn umzubringen, was auch B._ bestätige. Die Drohungen stünden ferner im Einklang mit der Schilderung der vorangegangenen Ereignisse, wonach der Beschwerdegegner im Büro von A._ laut und ausfällig geworden sei.
A._ habe auch ausgesagt, er habe zunächst - obwohl der Beschwerdegegner Deutsch gesprochen habe - nicht verstanden, was dieser gesagt habe. Die Deutschkenntnisse hätten sich auch in der Berufungsverhandlung als teilweise unzureichend erwiesen, weshalb vereinzelte Nachfragen nötig gewesen seien. Im Zuge der emotionalen Aufwühlung und Aufgebrachtheit des Beschwerdegegners sei es zudem wahrscheinlich, dass dessen Ausdrucksweise zusätzlich beeinträchtigt gewesen sei.
Es sei daher zumindest nicht auszuschliessen, dass die beiden Betreibungsbeamten unter dem Eindruck der vorangegangenen lautstarken Auseinandersetzung die möglicherweise undeutliche Aussprache des Beschwerdegegners falsch interpretierten. Dieser habe ausgesagt, dass er sterben werde, wenn ihm wegen der Lohnpfändung gekündigt werde. Seine Aussagen seien zwar nicht konstant gewesen, zumal er in der staatsanwaltschaftlichen Einvernahme ein Geständnis abgelegt habe. Dies habe er seinen Aussagen zufolge aber deshalb getan, um aus der Haft entlassen zu werden und um seine Arbeitsstelle nicht zu verlieren. Abgesehen vom widerrufenen Geständnis weise seine Darstellung jedoch keine relevanten Widersprüche auf. Die Aussagen zeigten einen "wenigstens möglichen Tatablauf", weshalb mehr als nur theoretische Zweifel daran verbleiben würden, dass der Beschwerdegegner tatsächlich die eingeklagte Äusserung "ich bringe Sie um" von sich gegeben habe. In Anwendung des Grundsatzes "in dubio pro reo" sei daher von der Darstellung des Beschwerdegegners, wonach man ihn falsch verstanden habe, auszugehen (angefochtenes Urteil, S. 10 ff.).
Es sei daher zumindest nicht auszuschliessen, dass die beiden Betreibungsbeamten unter dem Eindruck der vorangegangenen lautstarken Auseinandersetzung die möglicherweise undeutliche Aussprache des Beschwerdegegners falsch interpretierten. Dieser habe ausgesagt, dass er sterben werde, wenn ihm wegen der Lohnpfändung gekündigt werde. Seine Aussagen seien zwar nicht konstant gewesen, zumal er in der staatsanwaltschaftlichen Einvernahme ein Geständnis abgelegt habe. Dies habe er seinen Aussagen zufolge aber deshalb getan, um aus der Haft entlassen zu werden und um seine Arbeitsstelle nicht zu verlieren. Abgesehen vom widerrufenen Geständnis weise seine Darstellung jedoch keine relevanten Widersprüche auf. Die Aussagen zeigten einen "wenigstens möglichen Tatablauf", weshalb mehr als nur theoretische Zweifel daran verbleiben würden, dass der Beschwerdegegner tatsächlich die eingeklagte Äusserung "ich bringe Sie um" von sich gegeben habe. In Anwendung des Grundsatzes "in dubio pro reo" sei daher von der Darstellung des Beschwerdegegners, wonach man ihn falsch verstanden habe, auszugehen (angefochtenes Urteil, S. 10 ff.).
2.3 2.3.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig, d.h. willkürlich im Sinne von <ref-law> ist (<ref-ruling> E. 1.2.2), oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Willkür im Sinne von <ref-law> liegt nach ständiger Rechtsprechung nur vor, wenn der angefochtene Entscheid auf einer unhaltbaren oder widersprüchlichen Beweiswürdigung beruht, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 1.3; <ref-ruling> E. 5.4). Dass das angefochtene Urteil mit der Darstellung des Beschwerdeführers nicht übereinstimmt oder eine andere Lösung oder Würdigung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, genügt praxisgemäss für die Begründung von Willkür nicht (Urteil des Bundesgerichts 6P.180/2004 vom 13. März 2005 E. 4.1, nicht publ. in: <ref-ruling>; <ref-ruling> E. 2b mit Hinweisen).
2.3.2 Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substantiiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre. Andernfalls kann ein Sachverhalt, der von dem im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden. Der Beschwerdeführer kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substantiiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (vgl. <ref-ruling> E. 2.4).
2.3.3 Als Beweiswürdigungsregel besagt der in <ref-law> und Art. 6 Ziff. 2 EMRK verankerte Grundsatz in dubio pro reo, dass sich der Strafrichter nicht von der Existenz eines für den Angeklagten ungünstigen Sachverhalts überzeugt erklären darf, wenn bei objektiver Betrachtung erhebliche und nicht zu unterdrückende Zweifel bestehen, ob sich der Sachverhalt so verwirklicht hat. Bloss abstrakte und theoretische Zweifel sind nicht massgebend, weil solche immer möglich sind und absolute Gewissheit nicht verlangt werden kann. Eine Verletzung dieses Grundsatzes prüft das Bundesgericht unter dem Gesichtspunkt der Willkür (<ref-ruling> E. 2a; Urteil des Bundesgerichts 6B_923/2008 vom 2. Februar 2009 E. 2).
2.3.4 Dem Sachgericht steht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (<ref-ruling> E. 4.2; <ref-ruling> E. 6.1). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. <ref-ruling> E. 2.1).
2.3.5 Die Beschwerdeführerin stützt ihre Argumentation der nicht glaubhaften Aussagen des Beschwerdegegners auf Widersprüchlichkeiten in Bezug auf die Angst vor Stellenverlust sowie der erstmaligen Begegnung mit dem Betreibungsbeamten und Zeugen B._. Sie vermag damit keine willkürliche Beweiswürdigung der Vorinstanz darzutun, zumal diese in Übereinstimmung mit der ersten Instanz festhält, dass Teile der Aussagen des Beschwerdegegners als nicht konstant anzusehen sind (angefochtenes Urteil, S. 12).
Die Vorinstanz bewertet hingegen die Aussagen des Beschwerdegegners - wie etwa die Begründung für das Geständnis und den späteren Widerruf - als "nicht unglaubhaft". Hieraus resultiert laut Vorinstanz ein wenigstens möglicher Tatablauf, der mehr als nur theoretische Zweifel an der Sachverhaltsdarstellung gemäss Anklage wecke. Die Vorinstanz wendet indessen den Grundsatz "in dubio pro reo" an und geht von der Darstellung des Beschwerdegegners aus, die Betreibungsbeamten hätten ihn falsch verstanden.
2.3.6 Inwiefern die Vorinstanz den Grundsatz in dubio pro reo falsch angewendet und die Beweise falsch gewürdigt hätte, legt die Beschwerdeführerin nicht dar. Sie beruft sich lediglich auf die - unbestrittenen - glaubwürdigen Aussagen der beiden Betreibungsbeamten. Die Glaubwürdigkeit dieser Aussagen schliesst die Anwendung des Grundsatzes in dubio pro reo allerdings nicht aus. Die Sätze "Ich bringe Sie um " (Version Zeuge A._, vgl. Beschwerde, S. 3) bzw. "Ich bringe Dich um " (Version Zeuge B._, vgl. Beschwerde, S. 4) und "Wenn ich meine Stelle verliere, dann sterbe ich", sind zwar unterschiedlich, wie die Beschwerdeführerin zu Recht geltend macht. Dennoch erscheint die Auffassung der Vorinstanz, eine falsche Interpretation der Worte durch die Betreibungsbeamten sei aufgrund der mangelnden Deutschkenntnisse des Beschwerdegegners und der damit verbundenen erschwerten Verständlichkeit sowie infolge der vorangehenden lautstarken Auseinandersetzung und der im Tatzeitpunkt herrschenden Hektik nicht auszuschliessen, nicht geradezu unhaltbar und willkürlich. A._ hat im Übrigen selber eingeräumt, er habe in seinem Büro den Beschwerdegegner zunächst nicht verstanden, obwohl dieser Deutsch gesprochen habe. Die Vorinstanz führt weiter aus, dass das Sprachverständnis in der Berufungsverhandlung teilweise unzureichend und Nachfragen teilweise nötig gewesen seien. Es ist daher nicht zu beanstanden, wenn sie erhebliche und nicht zu unterdrückende Zweifel an der eingeklagten Sachverhaltsdarstellung bejaht und in Anwendung des Grundsatzes in dubio pro reo davon ausgeht, dass die beiden Betreibungsbeamten den Beschwerdegegner nicht richtig verstanden haben.
3. Die Beschwerde ist abzuweisen. Bei diesem Verfahrensausgang sind keine Kosten zu erheben (<ref-law>). Dem Beschwerdegegner ist keine Entschädigung zuzusprechen, da ihm im bundesgerichtlichen Verfahren keine Umtriebe entstanden sind.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Kosten erhoben und keine Entschädigungen ausgerichtet.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 7. Juni 2010
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Keller