Sachverhalt:
A. Von 1996 bis 2004 war F._ (Kläger, Beschwerdegegner) Projektleiter bei der X._ GmbH (Beklagte, Beschwerdeführerin). Sein monatlicher Bruttolohn betrug ursprünglich Fr. 6'600.--, ab Januar 2002 Fr. 7'000.-- zuzüglich Pauschalspesen von Fr. 300.-- und 13. Monatslohn. Mit Schreiben vom 29. Oktober 2003 kündigte die Beklagte den (nicht in schriftlicher Form vorhandenen) Arbeitsvertrag mit dem Kläger ordentlich auf den 31. Januar 2004. Der Kläger machte ein Guthaben aus Überstunden geltend, das die Beklagte bestritt.
B. B.a Am 14. Juni 2007 gelangte der Kläger an das Arbeitsgericht Winterthur mit dem Begehren, die Beklagte sei zur Bezahlung von Fr. 30'000.-- brutto nebst 5 % Zins seit 1. Februar 2004 zu verpflichten. Mit Urteil vom 6. November 2008 wies das Arbeitsgericht Winterthur die Klage nach Durchführung eines Beweisverfahrens ab.
B.b Gegen das Urteil des Arbeitsgerichts legte der Kläger Berufung beim Obergericht des Kantons Zürich ein. Mit Beschluss vom 19. Oktober 2009 verurteilte dieses die Beklagte in Gutheissung der Klage, dem Kläger Fr. 27'837.-- netto zuzüglich Zins zu 5 % seit dem 1. Februar 2004 zu bezahlen. Das Obergericht kam zwar mit der ersten Instanz zum Schluss, dass der Kläger die von ihm behaupteten Überstunden mit den eingereichten Urkunden und den Aussagen der einvernommenen Zeugen nicht zu beweisen vermöge. Das Gericht hielt indes die in der Buchhaltung der Beklagten ausgewiesenen Überstunden-Guthaben des Klägers für beweiskräftig. Diese betrugen per Ende 2003 Fr. 45'000.--. Da der Restanspruch des Klägers bei behaupteten 957 Überstunden (im Wert von Fr. 47'850.--) abzüglich 150 Stunden für private Arbeiten Fr. 40'350.-- ergab, erachtete das Gericht die eingeklagten Fr. 30'000.-- brutto - entsprechend Fr. 27'837.-- netto - für ausgewiesen.
B.c Mit Zirkulationsbeschluss vom 6. April 2011 wies das Kassationsgericht des Kantons Zürich die Beschwerde der Beklagten gegen das Urteil des Obergerichts ab, soweit es darauf eintrat. Das Kassationsgericht hielt den Schluss des Obergerichts, dass sich die Beschwerdeführerin den Inhalt ihrer Buchhaltung trotz der bestehenden Widersprüche zu den Aufzeichnungen des Beschwerdegegners anrechnen lassen müsse, weder für widersprüchlich noch geradewegs unhaltbar. Die Würdigung der Zeugenaussagen durch das Obergericht erachtete das Kassationsgericht für vertretbar und wies die entsprechende Rüge der Verletzung des Willkürverbotes ab.
C. Mit Beschwerde in Zivilsachen vom 31. Mai 2011 beantragt die Beklagte dem Bundesgericht, es seien die Beschlüsse des Kassationsgerichts Zürich vom 6. April 2011 und des Obergerichts des Kantons Zürich vom 19. Oktober 2009 aufzuheben und die Forderungsklage des Beschwerdegegners abzuweisen, eventualiter seien die angefochtenen Beschlüsse aufzuheben und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Sie rügt die Verletzung der Art. 321c OR und Art. 957 ff. OR i.V.m. Art. 8 ZGB sowie eine willkürliche Feststellung des Sachverhalts.
Der Beschwerdegegner beantragt in seiner Vernehmlassung, die Beschwerde sei abzuweisen und der Beschluss des Obergerichts Zürich vom 19. Oktober 2009 sei zu bestätigen, eventualiter sei die Angelegenheit an die Vorinstanz zurückzuweisen, um das Beweisverfahren zu ergänzen. Die Vorinstanzen haben auf eine Vernehmlassung verzichtet.
Mit Präsidialverfügung vom 27. Juni 2011 wurde das Gesuch der Beklagten um Erteilung der aufschiebenden Wirkung abgewiesen.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (BGE 136 II 101 E. 1 S. 103, 470 E. 1 S. 472; 135 III 212 E. 1).
1.1 Die Beschwerde betrifft eine Zivilsache (Art. 72 BGG), die Streitwertgrenze für arbeitsrechtliche Fälle ist erreicht (Art. 74 Abs. 1 lit. a BGG) und die Beschwerdeführerin ist mit ihren Anträgen vor den Vorinstanzen unterlegen (Art. 76 BGG).
1.2 Die Beschwerdeführerin hat sowohl den Beschluss des Obergerichts vom 19. Oktober 2009 als auch den Zirkulationsbeschluss des Kassationsgerichts vom 6. April 2011 beim Bundesgericht angefochten. Dies ist grundsätzlich zulässig und die Beschwerdefrist ist auch bezüglich des obergerichtlichen Urteils gewahrt (Art. 100 Abs. 6 aBGG [AS 2006 1234], der auf das vorliegende Beschwerdeverfahren noch anwendbar ist, da der angefochtene Beschluss des Obergerichts vor Aufhebung dieser Bestimmung eröffnet worden ist [vgl. Art. 405 Abs. 1 ZPO, dazu BGE 137 III 130 E. 2 S. 131 f.]).
1.3 Der Beschluss des Obergerichts ist nur insofern der Beschwerde zugänglich, als er das Erfordernis der Letztinstanzlichkeit erfüllt, mithin für die gegen diesen erhobenen Rügen kein kantonales Rechtsmittel mehr offen stand (Art. 75 Abs. 1 BGG; BGE 134 III 524 E. 1.3 S. 527). Gegen den Beschluss des Obergerichts konnte kantonale Nichtigkeitsbeschwerde an das Kassationsgericht nach § 281 der (auf den 1. Januar 2011 aufgehobenen) Zivilprozessordnung des Kantons Zürich (aZPO/ZH) erhoben werden, die vorliegend denn auch ergriffen wurde. Nach § 281 aZPO/ZH kann mit Nichtigkeitsbeschwerde geltend gemacht werden, der angefochtene Entscheid beruhe zum Nachteil des Nichtigkeitsklägers auf einer Verletzung eines wesentlichen Verfahrensgrundsatzes (Ziff. 1), auf einer aktenwidrigen oder willkürlichen tatsächlichen Annahme (Ziff. 2) oder auf einer Verletzung klaren materiellen Rechts (Ziff. 3). Ausgeschlossen ist die Nichtigkeitsbeschwerde, wenn das Bundesgericht einen Mangel frei überprüfen kann, wobei sie gemäss § 285 Abs. 2 aZPO/ZH stets zulässig ist, wenn eine Verletzung von Art. 8, 9, 29 oder 30 BV oder von Art. 6 EMRK geltend gemacht wird. Auf Rügen, die mit kantonaler Nichtigkeitsbeschwerde dem Kassationsgericht hätten vorgetragen werden können, ist mangels Letztinstanzlichkeit nicht einzutreten, soweit sie gegen das Urteil des Obergerichts gerichtet werden.
2. Die Beschwerdeführerin rügt eine Verletzung von Art. 8 ZGB in Verbindung mit Art. 321c OR und behauptet, das Obergericht habe seinem Entscheid vom 18. Oktober 2009 ein bundesrechtswidriges Beweismass zugrunde gelegt und die Beweislast umgekehrt, indem es sich im Ergebnis damit begnügt habe, dass irgendeine Buchung in einer Position der Buchhaltung den Anschein erwecken könne, dass der Beschwerdegegner irgendwelche Mehrarbeit geleistet habe.
2.1 Art. 8 ZGB gibt der beweispflichtigen Partei in allen bundesrechtlichen Zivilstreitigkeiten einen Anspruch darauf, für rechtserhebliche Vorbringen zum Beweis zugelassen zu werden (BGE 132 III 222 E. 2.3 S. 226; 130 III 591 E. 5.4 S. 601), wenn ihr Beweisantrag nach Form und Inhalt den Vorschriften des kantonalen Rechts entspricht (BGE 129 III 18 E. 2.6 S. 24 f.; 114 II 289 E. 2a S. 290, je mit Hinweisen). Ein Beweis gilt als erbracht, wenn das Gericht nach objektiven Gesichtspunkten von der Richtigkeit einer Sachbehauptung überzeugt ist. Absolute Gewissheit kann dabei nicht verlangt werden. Es genügt, wenn das Gericht am Vorliegen der behaupteten Tatsache keine ernsthaften Zweifel mehr hat oder allenfalls verbleibende Zweifel als leicht erscheinen. Eine Herabsetzung des Beweismasses insbesondere auf überwiegende Wahrscheinlichkeit setzt voraus, dass ein strikter Beweis nach der Natur der Sache nicht möglich oder nicht zumutbar ist (BGE 130 III 321 E. 3.2, 128 III 271 E. 2b S. 276). Die Herabsetzung des Beweismasses darf im Ergebnis nicht zu einer Umkehr der Beweislast führen. Die beweisbelastete Partei hat alle Umstände, die für die Verwirklichung des behaupteten Sachverhalts sprechen, soweit möglich und zumutbar zu behaupten und zu beweisen.
2.2 Für die Leistung von Überstunden trägt der Arbeitnehmer die Beweislast. Er hat somit zu beweisen, dass er auf Weisung oder wenigstens im Interesse der Arbeitgeberin mehr Zeit aufgewendet hat, als vertraglich vereinbart oder üblich. Dabei hat er den Nachweis der Notwendigkeit der Überstunden nicht zu erbringen, wenn er beweist, dass die Arbeitgeberin über die Leistung der Überstunden informiert war (BGE 86 II 155 E. 2 S. 157, vgl. auch BGE 116 II 69 E. 4b S. 71). Sofern der Nachweis erbracht ist, dass Überstunden geleistet wurden, ohne dass deren Ausmass genau bestimmt werden kann, hat das Gericht den Umfang nach Art. 42 Abs. 2 OR zu schätzen; bei der ermessensweisen Schätzung handelt es sich um Beweiswürdigung bzw. Sachverhaltsfeststellung, welche der Überprüfung durch das Bundesgericht grundsätzlich entzogen ist (BGE 128 III 271 E. 2b/aa S. 276 f. mit Hinweisen). Die Beweiserleichterung nach Art. 42 Abs. 2 OR kann sodann nicht nur für das Ausmass der Überzeit, sondern auch für die Leistung als solche anwendbar sein (BGE 122 II 219 E. 3a S. 221 mit Hinweisen). Voraussetzung dafür ist aber, dass sich auf Grund der konkreten Umstände ein genauer Beweis als unmöglich oder unzumutbar erweist. Diese Voraussetzung ist nicht schon dann erfüllt, wenn der Beweis im konkreten Fall misslingt. Die fehlende Beweisbarkeit muss aus objektiven Gründen vorliegen (Urteile 4A_40/2008 vom 19. August 2008 E. 3.3, 4C.142/2005 vom 24. August 2006 E. 5.2).
2.3 Die Beschwerdeführerin beanstandet zu Unrecht, dass sich das Obergericht mit dem Beweismass der überwiegenden Wahrscheinlichkeit begnügt hat. Der zeitliche Mehrumfang der Arbeit gegenüber dem vertraglich vereinbarten oder üblichen Mass lässt sich regelmässig nicht zur vollen Überzeugung beweisen. Denn es ist typisch und trifft nicht nur im vorliegenden Einzelfall zu, dass die eigenen Aufzeichnungen oder "Stundenkontrollen" des Arbeitnehmers diesen Beweis nicht zu erbringen vermögen; es handelt sich bei derartigen Aufzeichnungen letztlich um Parteibehauptungen. Auch die Aussagen von Zeugen werden regelmässig das Ausmass von Überstunden schon deshalb nicht beweisen können, weil Zeugen typischerweise nicht während der ganzen Arbeitszeit anwesend sind. Im vorliegenden Fall verhält es sich nicht anders. Entgegen der Ansicht der Beschwerdeführerin bestand daher auch im vorliegenden Fall durchaus Anlass für eine Abweichung vom Regelbeweismass, da der Beweis für den Umfang der Überstunden durch die eigenen Aufzeichnungen des Arbeitnehmers und die von ihm angerufenen Zeugen nicht erbracht werden konnten. Die Beschwerdeführerin kritisiert sodann im Ergebnis allein die Beweiswürdigung des Obergerichts und nicht - wie behauptet - das anwendbare Beweismass, wenn sie beanstandet, dass das Gericht ihren Einwänden gegen die Buchung des Überstundenguthabens als "Transitorische Passiven" nicht gefolgt ist.
3. Die Beschwerdeführerin rügt, die kantonalen Instanzen hätten die Einträge unter "Transitorische Passiven" willkürlich gewürdigt, was im Ergebnis zum Schluss geführt habe, das Überstundenguthaben des Beschwerdegegners sei ausgewiesen.
3.1 Soweit sich die Beschwerde dabei direkt gegen den Entscheid des Obergerichts richtet, ist darauf nicht einzutreten (oben E. 1.3). Die Beschwerde ist nur insoweit gehörig begründet, als in Auseinandersetzung mit den Erwägungen des Kassationsgerichts gerügt wird, dieses habe die behauptete Willkür zu Unrecht verneint (Art. 42 Abs. 2 BGG).
3.2 Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür vielmehr nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dabei genügt es nicht, wenn sich nur die Begründung des angefochtenen Entscheides als unhaltbar erweist. Eine Aufhebung rechtfertigt sich nur dann, wenn der Entscheid auch im Ergebnis verfassungswidrig ist (BGE 134 II 124 E. 4.1 S. 133 mit Hinweisen). Rügen betreffend die Beweiswürdigung sind nach Massgabe von Art. 106 Abs. 2 BGG zu begründen (BGE 133 II 249 E. 1.4.3 S. 254 f. mit Hinweisen).
3.3 Das Kassationsgericht hat nicht als willkürlich erachtet, dass das Obergericht die von der Beschwerdeführerin in ihrer Buchhaltung unter den "Transitorischen Passiven" ("TP") aufgeführten Guthaben des Beschwerdegegners als Beweis für Bestand und Ausmass der geleisteten Überstunden anerkannt hat. Nach der Feststellung im angefochtenen Entscheid hat die Beschwerdeführerin in diesem Konto "TP" mit dem Vermerk "Überzeit F._" (2000) bzw. "TP Überzeit F._" (2001) oder "TP Ferien F._" (2002 und 2003) Beträge gebucht, Ende 2003 namentlich Fr. 45'000.--. Das Kassationsgericht hat zunächst die Ansicht als vertretbar erachtet, dass die Beschwerdeführerin um die Leistung von Überstunden wissen musste, wenn sie entsprechende Guthaben in ihrer eigenen Buchhaltung führte, zumal die Beschwerdeführerin nicht hinreichend substanziiert vorbringe, ihre eigenen Geschäftsbücher seien nicht nach allgemein anerkannten Grundsätzen geführt. Willkür vermochte das Gericht sodann nicht darin zu erkennen, dass der Beweis für die Behauptung nicht als erbracht angesehen wurde, der Beschwerdegegner selbst habe die umstrittene Buchung angeordnet. Dass sich die Beschwerdeführerin den Inhalt ihrer eigenen Buchhaltung entgegen halten lassen muss, hielt das Kassationsgericht zudem trotz gewisser Ungereimtheiten über Zustandekommen und Höhe der umstrittenen transitorischen Passiven nicht für willkürlich. Schliesslich verneinte das Kassationsgericht, dass das Obergericht die Zeugenaussagen willkürlich gewürdigt habe.
3.4 Die Vorinstanz hat nicht verkannt, dass transitorische Buchungen, namentlich transitorische Passiven, der Rechnungsabgrenzung dienen (vgl. Schweizer Handbuch der Wirtschaftsprüfung, Bd. 1, 2009, S. 192). Da die Aktiven und Passiven auf einen bestimmten Stichtag zu ermitteln sind, müssen gebuchte Aufwendungen und Erträge, wenn sie das folgende Geschäftsjahr betreffen, als transitorische Aktiven oder Passiven einbezogen werden (vgl. statt vieler CARL HELBLING, Bilanz- und Erfolgsanalyse, 10. Aufl. 1997, S. 121). Bei der passiven Rechnungslegung sind namentlich nicht bezogene Ferien der Arbeitnehmer zu berücksichtigen (HELBLING, a.a.O). Ferien- und Überstunden-Guthaben aus dem abgelaufenen Geschäftsjahr sind damit nach allgemein anerkannten Rechungslegungsgrundsätzen als transitorische Passiven zu verbuchen, wenn sie im folgenden Geschäftsjahr vom Arbeitnehmer als Freizeit bezogen oder abgegolten werden. Wenn die Vorinstanz daher nicht als willkürlich ansah, dass mit der Verbuchung von Ferien- oder Überstunden-Guthaben eines bestimmten Arbeitnehmers als transitorisches Passivum zum Ausdruck gebracht wird, dem betreffenden Arbeitnehmer stehe per Ende Jahr ein entsprechendes Freizeit-Guthaben zu, ist dies nicht zu beanstanden. Entgegen dem Vorbringen der Beschwerdeführerin ist in diesem Zusammenhang nicht ersichtlich, weshalb wesentlich sein soll, wann genau die per Ende 2003 gebuchten Überstunden entstanden sind; dem Arbeitnehmer steht nach der Buchung als transitorisches Passivum im massgebenden Zeitpunkt das Guthaben aus Überstunden unbesehen darum zu, ob diese alle im abgelaufenen Geschäftsjahr geleistet oder aus Vorjahren übertragen worden sind. Aus der Buchung als transitorisches Passivum kann ohne Willkür abgeleitet werden, dem Arbeitnehmer stehe am Stichtag ein entsprechendes Freizeit-Guthaben aus nicht bezogenen Ferien oder geleisteten Überstunden zu. Da transitorische Aktiven oder Passiven der Rechnungsabgrenzung dienen, ist auch richtigerweise die entsprechende Position im folgenden Geschäftsjahr wieder aufzulösen; es ist nicht erkennbar, was die Beschwerdeführerin aus diesem Vorgehen für den vorliegenden Streit ableiten will.
4. Die Beschwerdeführerin rügt schliesslich, das Obergericht habe diverse Normen des Bundesrechts verletzt.
4.1 Sie bezieht sich auf die Bemerkung des Kassationsgerichts des Kantons Zürich, wonach die Beweiskraft von Angaben aus Bestandteilen einer kaufmännischen Buchhaltung eine Frage des Bundesrechts (Art. 957 ff. OR) sei, und rügt, das Obergericht habe Art. 8 ZGB in Verbindung mit Art. 957 OR verletzt, indem es auf die Buchung abgestellt habe, obwohl diese verwirrlich und unklar sei. Die Beschwerdeführerin bemerkt zunächst selbst, dass das Obergericht des Kantons Zürich Art. 957 Abs. 1 OR zutreffend ausgelegt hat, indem es einer ordnungsmässig geführten Buchhaltung Beweiskraft - wenn auch keine erhöhte - zuerkannte. Sie hält allerdings zu Unrecht dafür, dass die hier massgebende Buchung des Freizeit-Guthabens des Beschwerdegegners per Ende 2003 als solche verwirrlich oder unklar sei. Denn es ergibt sich daraus klar, dass dem Beschwerdegegner nach Ansicht der Beschwerdeführerin per Ende 2003 ein Guthaben in Höhe von Fr. 45'000.-- zusteht. Soweit die Beschwerdeführerin in diesem Zusammenhang die Bemerkung des Kassationsgerichts als "Wortklauberei" beanstandet, sie habe nicht geltend gemacht, dass die Buchhaltung nicht ordnungsgemäss geführt sei, ist ihrer Rüge nicht zu entnehmen, inwiefern das Kassationsgericht das kantonale Prozessrecht willkürlich angewandt haben könnte. Dass im Übrigen die Entwicklung des Überstunden-Guthabens des Beschwerdegegners nicht ohne weiteres aufgrund anderer Beweismittel nachvollziehbar ist, begründet keine Willkür in der Beweiswürdigung. Es ist vertretbar, die Beschwerdeführerin auf ihrer eigenen Buchung zu behaften.
4.2 Als Verletzung der Untersuchungsmaxime (Art. 343 Abs. 4 aOR) rügt die Beschwerdeführerin sodann, dass das Obergericht auf die Abnahme weiterer Beweismittel verzichtet und insbesondere die Einvernahme der bei der Y._ AG für die Erstellung der Jahresrechnungen 2002-2004 zuständigen Person als Zeuge nicht angeordnet habe. Die Beschwerdeführerin verkennt die Tragweite von Art. 343 Abs. 4 aOR. Diese sozialpolitisch motivierte, beschränkte Untersuchungsmaxime entband die Parteien nicht davon, an der Sammlung des Prozessstoffes aktiv mitzuwirken, ihre Standpunkte zu substanziieren und die Beweismittel zu nennen. Die Parteien trugen auch im Bereich der beschränkten Untersuchungsmaxime die Verantwortung dafür, dass die relevanten Behauptungen vorgebracht werden; ebenso waren sie grundsätzlich für die Sachverhaltsermittlung verantwortlich (BGE 130 III 102 E. 2.2 S. 107; 111 II 281 E. 3; 107 II 233 E. 2c S. 236; vgl. auch BGE 125 III 231 E. 4a S. 238 f.). Die Kantone waren überdies nach aArt. 343 Abs. 4 OR nicht verpflichtet, die soziale Untersuchungsmaxime auch im kantonalen Rechtsmittelverfahren uneingeschränkt anzuwenden (vgl. BGE 107 II 233 E. 3; 118 II 50 E. 2a). Das Obergericht hat keine Bundesrechtsnorm verletzt, wenn es nicht von Amtes wegen weitere Beweise erhob.
5. Die Beschwerde ist als unbegründet abzuweisen, soweit darauf einzutreten ist.
Die Gerichtskosten sind der Beschwerdeführerin zu auferlegen und diese hat dem Beschwerdegegner die Parteikosten zu ersetzen (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 800.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, I. Zivilkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 14. Dezember 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Hurni