Sachverhalt:
A. Der 1970 geborene K._ musste ab 1. Januar 2004 seine Tätigkeit bei der Entwicklungsorganisation X._ von 100 % auf 50 % reduzieren. Während der Rahmenfrist für den Leistungsbezug vom 1. Mai 2004 bis 30. April 2006 wurde ihm von der Syna Arbeitslosenkasse Arbeitslosenentschädigung ausgerichtet. Ab 1. Mai 2006 beantragte er bei der Unia Arbeitslosenkasse wiederum Arbeitslosenentschädigung. Diese eröffnete ihm von 1. Mai 2006 bis 30. April 2008 eine zweite Rahmenfrist für den Leistungsbezug. Für die Kontrollperioden von Mai 2006 bis April 2007 rechnete ihm die Unia Arbeitslosenkasse für die 50%ige Tätigkeit bei X._ zunächst einen Zwischenverdienst von je Fr. 3'000.- an. Monatlich überwies ihm letztere einen (Akonto-)Betrag von Fr. 2'500.-. Im Januar 2007 meldete K._ X._, er habe von Mai bis August 2006 Direktspenden in der Höhe von Fr. 17'150.- erhalten, worauf im Februar und März 2007 die Überweisung des (Akonto-)Betrages von je Fr. 2'500.- vorübergehend gestoppt wurde, um die Direktspenden aus dem Jahr 2006 auszugleichen. Im Schreiben vom 26. Juni 2007 teilte X._ der Unia Arbeitslosenkasse mit, die effektive Höhe des Zwischenverdienstes hänge von den Spendeneinnahmen ab, worauf hin diese mit Verfügung vom 10. Juli 2007 von K._ zu viel ausbezahlte Leistungen für die Kontrollperioden Mai 2006 bis April 2007 in der Höhe von insgesamt Fr. 5'539.60 zurückforderte. Mit Einspracheentscheid vom 4. Februar 2008 bestätigte sie ihre Verfügung.
B. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. September 2009 ab.
C. Mit Beschwerde lässt K._ die Aufhebung des Einsprache- und kantonalen Gerichtsentscheides beantragen. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Die Unia Arbeitslosenkasse und das Staatssekretariat für Wirtschaft verzichten auf eine Stellungnahme.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.4.1 S. 254). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Dies ist aufgrund der Vorbringen in der Beschwerde zu prüfen (in SVR 2008 ALV Nr. 12 S. 35 publ. E. 1.2 und 2.2 des Urteils <ref-ruling>).
2. Die Vorinstanz hat die rechtlichen Grundlagen über den Anspruch auf Arbeitslosenentschädigung (<ref-law>), den Zwischenverdienst (<ref-law>) sowie die Rückforderung (<ref-law>) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Umstritten und zu prüfen ist, ob die Rückforderung der Beschwerdegegnerin für zu viel ausgerichtete Leistungen während der Kontrollperioden von Mai 2006 bis April 2007 in der Höhe von Fr. 5'539.60 zu Recht erfolgte. Die Vorinstanz bejahte dies mit dem Hinweis auf die fehlende Überprüfbarkeit der vom Beschwerdeführer im Rahmen des Zwischenverdienstes erhaltenen Direktspenden in der Höhe von Fr. 17'150.-. Daran vermöge auch sein eingereichter Kontoauszug nichts zu ändern, da die Spenden auch auf anderen Kanälen hätten eingegangen sein können. Er habe einen Verdienstausfall nicht nachweisen können. Nach dem allgemeinen beweisrechtlichen Grundsatz von <ref-law> habe er die Folgen der Beweislosigkeit zu tragen.
3.2 Der Beschwerdeführer macht hingegen geltend, der fehlende Nachweis des Verdienstausfalls werde nicht einmal von der Beschwerdegegnerin behauptet. Es werde ihm unterstellt, seine wahren Einkünfte nicht offen gelegt zu haben, was nicht akzeptabel sei. Nach dem Grundsatz negativa non sunt probanda könne er nicht beweisen, dass er in der fraglichen Periode keine zusätzlichen Spendeneinkünfte gehabt habe.
3.3 Die erste detaillierte Aufstellung der umstrittenen Direktspenden in der Höhe von Fr. 17'150.- sandte der Beschwerdeführer mit E-Mail vom 24. Januar 2007 zur Abrechnung an X._. Diese übernahm seine Aufstellung und wies die Direktspenden auf der Lohnabrechnung vom Januar 2007 aus. Von den angegebenen Spendeneingängen in der Höhe von Fr. 17'150.- sind in den später von der Beschwerdegegnerin eingeforderten Kontoauszügen des Beschwerdeführers Fr. 15'000.- ausgewiesen. Diesen Betrag haben Spender dem Beschwerdeführer per Kontoüberweisung zukommen lassen. Die Spender und die Überweisungsbeträge auf den Kontoauszügen stimmen mit den angegebenen Personen und den Geldbeträgen im E-Mail vom 24. Januar 2007 überein. Lediglich für die restlichen Fr. 2'150.-, welche dem Beschwerdeführer gemäss eigenen Angaben in kleiner Stückelung (zwischen Fr. 50.- und Fr. 300.-) direkt übergeben worden sind, liegen keine zusätzlichen Belege vor. Die einzelnen Beträge sind allerdings im E-Mail vom 24. Januar 2007 aufgelistet und nach Namen der Spender detailliert aufgeschlüsselt.
3.4 Soweit das kantonale Gericht argumentiert, die Höhe der eingegangenen Direktspenden sei, selbst nach Einreichung der Kontoauszüge, nicht überprüfbar, da die Spenden auch auf anderen Kanälen hätten eingehen können, übersieht es, dass beim Beweis negativer Tatsachen zwar der Leistungsansprecher gemäss der allgemeinen Beweislastregel von <ref-law> die Beweislast trägt, die Gegenpartei jedoch nach Treu und Glauben bei der Beweisführung mitwirken muss und den Gegenbeweis zu erbringen hat, wenn sie die sich gestützt auf Unterlagen wie etwa Lohnbescheinigungen des Arbeitgebers, AHV-beitragsrechtliche Stellung, Steuererklärung und -veranlagung ergebenden Einkommensverhältnisse nicht gelten lassen möchte (<ref-ruling> E. 5.5 S. 216 f.; ZAK 1989 S. 408, P 11/88 E. 3b). Aufgrund der vom Beschwerdeführer und dessen Arbeitgeberin X._ eingereichten detaillierten schriftlichen Aufstellungen, Kontoauszügen und Lohnabrechnungen erweisen sich Direktspenden in der Höhe von Fr. 17'150.- als ausgewiesen. Davon ging auch die Beschwerdegegnerin aus. Indizien, wonach der Beschwerdeführer mehr Einnahmen erzielt hat als Direktspenden in der Höhe von Fr. 17'150.- oder gar so viel, dass kein Verdienstausfall mehr vorlag, gibt es keine. Soweit die Vorinstanz folgert, dem Beschwerdeführer sei es nicht gelungen, einen Verdienstausfall nachzuweisen, liegt daher ein Verstoss gegen die dargelegten Beweisgrundsätze und das Prinzip der freien Beweiswürdigung vor.
4. Demnach ist der vorinstanzliche Entscheid aufzuheben und die Sache an das kantonale Gericht zurückzuweisen, damit dieses unter Berücksichtigung der Direktspenden in der Höhe von Fr. 17'150.- die zwischen den Parteien umstrittene Frage nach der Höhe des massgeblichen Zwischenverdienstes behandle und entsprechend über die Beschwerde neu entscheide (<ref-law>).
5. Die zu erhebenden Gerichtskosten (<ref-law>) gehen ausgangsgemäss zu Lasten der Beschwerdegegnerin (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. September 2009 aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie im Sinne der Erwägungen verfahre und über die Beschwerde gegen den Einspracheentscheid vom 4. Februar 2008 neu entscheide. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Staatssekretariat für Wirtschaft schriftlich mitgeteilt.
Luzern, 26. März 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Kathriner