Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 13. Juni 2003 verneinte das Amt für Wirtschaft und Arbeit (AWA) des Kantons Zürich den Anspruch des H._ (geb. 1949) auf Arbeitslosenentschädigung ab dem 10. Mai 1999 und 3. Juni 2002. Diese Verfügung bestätigte das AWA mit Einspracheentscheid vom 16. März 2004.
A. Mit Verfügung vom 13. Juni 2003 verneinte das Amt für Wirtschaft und Arbeit (AWA) des Kantons Zürich den Anspruch des H._ (geb. 1949) auf Arbeitslosenentschädigung ab dem 10. Mai 1999 und 3. Juni 2002. Diese Verfügung bestätigte das AWA mit Einspracheentscheid vom 16. März 2004.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 13. Juli 2004 ab.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 13. Juli 2004 ab.
C. H._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, sein Anspruch auf Arbeitslosenentschädigung ab 10. Mai 1999 und 3. Juni 2002 sei zu bejahen.
Das AWA und das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Gericht hat die gesetzlichen Bestimmungen zu den Voraussetzungen für den Anspruch auf Arbeitslosenentschädigung (Art. 8 Abs. 1 lit. a-g AVIG), zum Begriff der Vermittlungsfähigkeit (<ref-law>) und zur Schadenminderungspflicht der Versicherten (<ref-law>) richtig dargelegt. Zutreffend sind auch die Ausführungen zum Ausschluss arbeitgeberähnlicher Personen vom Anspruch auf Kurzarbeitsentschädigung (<ref-law>) und die Rechtsprechung zur analogen Anwendung dieser Vorschrift auf arbeitgeberähnliche Personen, die Arbeitslosenentschädigung verlangen (<ref-ruling> Erw. 7). Darauf wird verwiesen.
1. Das kantonale Gericht hat die gesetzlichen Bestimmungen zu den Voraussetzungen für den Anspruch auf Arbeitslosenentschädigung (Art. 8 Abs. 1 lit. a-g AVIG), zum Begriff der Vermittlungsfähigkeit (<ref-law>) und zur Schadenminderungspflicht der Versicherten (<ref-law>) richtig dargelegt. Zutreffend sind auch die Ausführungen zum Ausschluss arbeitgeberähnlicher Personen vom Anspruch auf Kurzarbeitsentschädigung (<ref-law>) und die Rechtsprechung zur analogen Anwendung dieser Vorschrift auf arbeitgeberähnliche Personen, die Arbeitslosenentschädigung verlangen (<ref-ruling> Erw. 7). Darauf wird verwiesen.
2. Streitig und zu prüfen ist der Anspruch auf Arbeitslosenentschädigung einerseits ab 10. Mai 1999, anderseits ab 3. Juni 2002.
2. Streitig und zu prüfen ist der Anspruch auf Arbeitslosenentschädigung einerseits ab 10. Mai 1999, anderseits ab 3. Juni 2002.
2.1 2.1.1 Die Vorinstanz hat festgehalten, dass der Versicherte in der Zeitspanne von 1999 bis 2001 eindeutig zu wenig Stellenbewerbungen nachgewiesen habe. Er hätte sich intensiver um eine unselbstständige Erwerbstätigkeit bemühen müssen, weshalb seine Vermittlungsfähigkeit nachträglich zu verneinen sei.
2.1.2 Dem Versicherten sind in der Rahmenfrist von Mai 1999 bis Mai 2001 Arbeitslosentaggelder ausgerichtet worden. Die entsprechenden Abrechnungen sind unbeanstandet geblieben und damit in formelle Rechtskraft erwachsen (<ref-ruling>). Daher fragt sich, ob auf sie zurückgekommen werden kann. Dies ist grundsätzlich unter den Titeln der Wiedererwägung oder der prozessualen Revision denkbar (vgl. dazu <ref-ruling> Erw. 2c). Nachdem aber keine neuen, im damaligen Zeitpunkt unbekannt gebliebenen Tatsachen aufgetaucht sind und somit ein Grund für eine prozessuale Revision weder geltend gemacht wird noch ersichtlich ist, bleibt einzig zu prüfen, ob die Ausrichtung der erwähnten Arbeitslosenentschädigungen im Sinne der Wiedererwägung zweifellos unrichtig war.
2.1.3 Hinsichtlich der ersten Periode ab 10. Mai 1999 trifft zwar zu, dass der Versicherte in den Monaten Juli 1999 bis März 2001 insgesamt nur rund 70 Stellenbewerbungen aufgelistet hat. Dies entspricht einem Schnitt von gut 3,3 Bemühungen pro Monat, was in der Tat quantitativ nicht zu befriedigen vermag. Fortlaufend ungenügende Arbeitsbemühungen können dazu führen, dass die Vermittlungsfähigkeit verneint wird. Indessen ist zu beachten, dass die Verwaltung die Chancen des Beschwerdeführers auf dem Stellenmarkt als besonders schwierig eingestuft hat. Dennoch wurde er nie angewiesen, zusätzliche Bemühungen zu tätigen. Insbesondere hat die Verwaltung nie die zu der für ungenügende Arbeitsbemühungen vorgesehenen Sanktion, einer Einstellung in der Anspruchsberechtigung (<ref-law>), gegriffen. Sodann hat der Beschwerdeführer nicht nur die Aufnahme einer selbstständigen Erwerbstätigkeit im Auge gehabt, finden sich in den Akten doch auch Bewerbungen für Anstellungen. Diese Umstände führen zum Schluss, dass die Verwaltung selbst die Bemühungen des Versicherten ursprünglich nicht als so ungenügend taxiert hat, dass deswegen auf Vermittlungsunfähigkeit zu schliessen gewesen wäre.
2.1.4 In der Verfügung vom 13. Juni 2002 verneinte die Verwaltung die Vermittlungsfähigkeit denn auch nicht wegen fortlaufend ungenügender Stellensuche, sondern wegen der arbeitgeberähnlichen Stellung in der Firma E._ GmbH. Diesbezüglich hat die Vorinstanz indessen richtig erkannt, dass der Beschwerdeführer nicht etwa aus dieser Unternehmung entlassen worden wäre und die arbeitgeberähnliche Stellung beibehalten hätte, sondern vielmehr aus einem Drittbetrieb ausschied, in welchem er mit einem Pensum von 100 % gearbeitet und keine arbeitgeberähnliche Stellung eingenommen hatte. Daraus hat das kantonale Gericht zutreffend gefolgert, dass die arbeitgeberähnliche Stellung keinen Einfluss auf die Vermittlungsfähigkeit des Versicherten gehabt hatte und seine Arbeitslosigkeit damit in keinem Zusammenhang stand. Der Anspruch auf Arbeitslosenentschädigung ab 10. Mai 1999 konnte daher auch nicht mit dem Hinweis auf die arbeitgeberähnliche Stellung in der Firma E._ GmbH verneint werden (Urteil H. vom 10. Juli 2003, C 273/02; vgl. auch SVR 2004 ALV Nr. 15 S. 46).
2.1.5 Nach dem Gesagten ist die Zusprechung von Arbeitslosenentschädigung ab dem 10. Mai 1999 nicht zweifellos unrichtig gewesen, weshalb die Voraussetzungen für eine Wiedererwägung nicht erfüllt sind.
2.1.5 Nach dem Gesagten ist die Zusprechung von Arbeitslosenentschädigung ab dem 10. Mai 1999 nicht zweifellos unrichtig gewesen, weshalb die Voraussetzungen für eine Wiedererwägung nicht erfüllt sind.
2.2 2.2.1 Bezüglich der Periode ab 3. Juni 2002 hat die Vorinstanz den Anspruch auf Arbeitslosenentschädigung wegen der erwähnten arbeitgeberähnlichen Stellung in der genannten Firma verneint. Zu Beginn des Leistungsbezugs habe er als Gesellschafter mit einer Stammeinlage von Fr. 12'000.- und als Geschäftsführer dieser Unternehmung firmiert.
2.3 Gemäss den Akten trat der Versicherte am 1. Juli 2001 eine Stelle als Geschäftsführer in der E._ GmbH an. Auf den 11. Mai 2002 wurde er aus diesem Arbeitsverhältnis entlassen, blieb aber Gesellschafter mit der bisherigen Stammeinlage von Fr. 12'000.- und verlor seine Einzelunterschriftsberechtigung. Eine Anmeldung beim Handelsregisteramt erfolgte mit Fax vom 24. Februar 2003. Damit schied der Beschwerdeführer nicht definitiv aus der erwähnten Firma aus, sondern verblieb dort als finanziell Beteiligter in arbeitgeberähnlicher Stellung. Es war ihm ungeachtet der nunmehr fehlenden Zeichnungsberechtigung weiterhin möglich, massgebend auf den Gang der Geschäfte Einfluss zu nehmen. Zudem wurde als neuer Geschäftsführer Rechtsanwalt F._ bestimmt, welcher zugleich Rechtsvertreter des Beschwerdeführers war. Im Antwortschreiben vom 21. Mai 2003 an das AWA räumt der Versicherte sodann selber ein, dass er die Firma als Chance betrachtete, eventuell bei verbesserten Geschäftsaussichten wieder einzusteigen. Unter diesen Umständen kann der Beschwerdeführer im Lichte der Rechtsprechung nach <ref-ruling> Erw. 7 keine Arbeitslosenentschädigung beanspruchen. Was er hiegegen in der Verwaltungsgerichtsbeschwerde vorbringen lässt, vermag daran nichts zu ändern. Namentlich bezweckt die erwähnte Rechtsprechung nicht nur dem ausgewiesenen Missbrauch an sich, sondern bereits dem Risiko eines solchen zu begegnen, welches der Ausrichtung von Arbeitslosenentschädigung an arbeitgeberähnliche Personen inhärent ist (ARV 2003 S. 240). Ein solches Risiko ist hier gegeben, selbst wenn der Beschwerdeführer momentan keine Aktivitäten in der genannten Firma entfaltet.
2.3 Gemäss den Akten trat der Versicherte am 1. Juli 2001 eine Stelle als Geschäftsführer in der E._ GmbH an. Auf den 11. Mai 2002 wurde er aus diesem Arbeitsverhältnis entlassen, blieb aber Gesellschafter mit der bisherigen Stammeinlage von Fr. 12'000.- und verlor seine Einzelunterschriftsberechtigung. Eine Anmeldung beim Handelsregisteramt erfolgte mit Fax vom 24. Februar 2003. Damit schied der Beschwerdeführer nicht definitiv aus der erwähnten Firma aus, sondern verblieb dort als finanziell Beteiligter in arbeitgeberähnlicher Stellung. Es war ihm ungeachtet der nunmehr fehlenden Zeichnungsberechtigung weiterhin möglich, massgebend auf den Gang der Geschäfte Einfluss zu nehmen. Zudem wurde als neuer Geschäftsführer Rechtsanwalt F._ bestimmt, welcher zugleich Rechtsvertreter des Beschwerdeführers war. Im Antwortschreiben vom 21. Mai 2003 an das AWA räumt der Versicherte sodann selber ein, dass er die Firma als Chance betrachtete, eventuell bei verbesserten Geschäftsaussichten wieder einzusteigen. Unter diesen Umständen kann der Beschwerdeführer im Lichte der Rechtsprechung nach <ref-ruling> Erw. 7 keine Arbeitslosenentschädigung beanspruchen. Was er hiegegen in der Verwaltungsgerichtsbeschwerde vorbringen lässt, vermag daran nichts zu ändern. Namentlich bezweckt die erwähnte Rechtsprechung nicht nur dem ausgewiesenen Missbrauch an sich, sondern bereits dem Risiko eines solchen zu begegnen, welches der Ausrichtung von Arbeitslosenentschädigung an arbeitgeberähnliche Personen inhärent ist (ARV 2003 S. 240). Ein solches Risiko ist hier gegeben, selbst wenn der Beschwerdeführer momentan keine Aktivitäten in der genannten Firma entfaltet.
3. Das Verfahren ist kostenlos (Art. 134 OG). Da der Beschwerdeführer nach dem Gesagten teilweise obsiegt, steht ihm eine reduzierte Parteientschädigung zu (Art. 159 Abs. 1 und 3 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 13. Juli 2004 und der Einspracheentscheid des Amts für Wirtschaft und Arbeit, Zürich, vom 16. März 2004 insoweit aufgehoben, als darin die Vermittlungsfähigkeit ab dem 10. Mai 1999 verneint wird. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 13. Juli 2004 und der Einspracheentscheid des Amts für Wirtschaft und Arbeit, Zürich, vom 16. März 2004 insoweit aufgehoben, als darin die Vermittlungsfähigkeit ab dem 10. Mai 1999 verneint wird. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Das Amt für Wirtschaft und Arbeit des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Entschädigung von Fr. 1250.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Das Amt für Wirtschaft und Arbeit des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Entschädigung von Fr. 1250.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Sozialversicherungsgericht des Kantons Zürich wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
4. Das Sozialversicherungsgericht des Kantons Zürich wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Arbeitslosenkasse des Kantons Zürich und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 22. März 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: