Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 21. Januar 2003 verneinte das Amt für Wirtschaft und Arbeit (AWA) des Kantons Solothurn den Anspruch von K._ (geb. 1955) auf Arbeitslosenentschädigung ab 4. November 2002. Diese Verfügung bestätigte das AWA mit Einspracheentscheid vom 20. März 2003.
A. Mit Verfügung vom 21. Januar 2003 verneinte das Amt für Wirtschaft und Arbeit (AWA) des Kantons Solothurn den Anspruch von K._ (geb. 1955) auf Arbeitslosenentschädigung ab 4. November 2002. Diese Verfügung bestätigte das AWA mit Einspracheentscheid vom 20. März 2003.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 22. Dezember 2003 ab.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 22. Dezember 2003 ab.
C. K._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm Arbeitslosenentschädigung ab 4. November 2002 auszurichten.
Das AWA und das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Versicherungsgericht hat die gesetzliche Vorschrift zum Ausschluss arbeitgeberähnlicher Personen vom Anspruch auf Kurzarbeitsentschädigung (<ref-law>) sowie die Rechtsprechung zur analogen Anwendung dieser Bestimmung auf arbeitgeberähnliche Personen, welche Arbeitslosenentschädigung beanspruchen (<ref-ruling> Erw. 7), richtig dargelegt. Darauf wird verwiesen.
1. Das kantonale Versicherungsgericht hat die gesetzliche Vorschrift zum Ausschluss arbeitgeberähnlicher Personen vom Anspruch auf Kurzarbeitsentschädigung (<ref-law>) sowie die Rechtsprechung zur analogen Anwendung dieser Bestimmung auf arbeitgeberähnliche Personen, welche Arbeitslosenentschädigung beanspruchen (<ref-ruling> Erw. 7), richtig dargelegt. Darauf wird verwiesen.
2. Streitig und zu prüfen ist der Anspruch auf Arbeitslosenentschädigung ab 4. November 2002.
2.1 Unbestrittenermassen war der Beschwerdeführer während der hier massgebenden Zeitspanne in der Firma N._ AG, als Verwaltungsratspräsident mit Einzelunterschrift und bei der Firma I._ AG, als Verwaltungsratspräsident mit Kollektivunterschrift zu Zweien im Handelsregister eingetragen. Somit bekleidete er in beiden Betrieben eine arbeitgeberähnliche Stellung, welche er bis zum heutigen Tag nicht aufgegeben hat. Es ist ihm daher möglich geblieben, auf den Gang der Geschäfte Einfluss zu nehmen. Selbst wenn die beiden Firmen über eine gewisse Zeit vollständig inaktiv gewesen sein sollten, stand es weiterhin im Belieben des Beschwerdeführers, sich gegebenenfalls dort wieder einzustellen und sein Arbeitspensum zu variieren. Damit wäre es schwierig, einen allfälligen anrechenbaren Arbeitsausfall zu bestimmen. Im Lichte der Rechtsprechung (<ref-ruling> Erw. 7) kann er daher keine Arbeitslosenentschädigung für eine auf Grund der in diesen zwei Unternehmungen eingetretenen Arbeitslosigkeit beanspruchen. Insoweit kann auf den zutreffenden kantonalen Entscheid verwiesen werden.
2.2 Indessen ist zu beachten, dass der Beschwerdeführer vom 1. April 2002 bis 31. Oktober 2002, d.h. während sieben Monaten, bei der Firma E._ als Pavillonmanager, somit in einer Arbeitnehmertätigkeit ohne arbeitgeberähnliche Befugnisse, beschäftigt war. Es liegt daher die Konstellation vor, dass eine Person ihre arbeitgeberähnliche Stellung in einer ersten Firma beibehält, daneben in einem Drittbetrieb eine Arbeitnehmertätigkeit aufnimmt, dort arbeitslos wird und hierauf Arbeitslosenentschädigung beantragt. Zu dieser Situation hat das Eidgenössische Versicherungsgericht im Urteil W. vom 31. März 2004, C 171/03, einen Grundsatzentscheid gefällt. Demnach kann keine Arbeitslosenentschädigung beanspruchen, wer nur pro forma für kurze Zeit im Drittbetrieb arbeitet. Hingegen erscheint der Antrag auf Arbeitslosenentschädigung nicht mehr missbräuchlich, wenn die Tätigkeit in der dritten Firma eine bestimmte Mindestzeit gedauert hat. In analoger Anwendung von <ref-law> kann einer arbeitgeberähnlichen Person, welche eine Anstellung in einem Drittunternehmen verliert, der genannte Anspruch nicht mehr versagt werden, wenn die Beschäftigung im Drittbetrieb wenigstens sechs Monate gedauert hat. Dies trifft vorliegend zu, hat doch der Beschwerdeführer während sieben Monaten bei der Firma E._ gearbeitet. Damit steht ihm auf Grund der durch die Beendigung dieser Beschäftigung entstandenen Arbeitslosigkeit ein Anspruch auf Taggelder zu, sofern die übrigen Voraussetzungen erfüllt sind. Die Sache ist deshalb an die Verwaltung zurückzuweisen, damit sie dies prüfe und dem Beschwerdeführer gegebenenfalls entsprechende Leistungen ausrichte.
2.2 Indessen ist zu beachten, dass der Beschwerdeführer vom 1. April 2002 bis 31. Oktober 2002, d.h. während sieben Monaten, bei der Firma E._ als Pavillonmanager, somit in einer Arbeitnehmertätigkeit ohne arbeitgeberähnliche Befugnisse, beschäftigt war. Es liegt daher die Konstellation vor, dass eine Person ihre arbeitgeberähnliche Stellung in einer ersten Firma beibehält, daneben in einem Drittbetrieb eine Arbeitnehmertätigkeit aufnimmt, dort arbeitslos wird und hierauf Arbeitslosenentschädigung beantragt. Zu dieser Situation hat das Eidgenössische Versicherungsgericht im Urteil W. vom 31. März 2004, C 171/03, einen Grundsatzentscheid gefällt. Demnach kann keine Arbeitslosenentschädigung beanspruchen, wer nur pro forma für kurze Zeit im Drittbetrieb arbeitet. Hingegen erscheint der Antrag auf Arbeitslosenentschädigung nicht mehr missbräuchlich, wenn die Tätigkeit in der dritten Firma eine bestimmte Mindestzeit gedauert hat. In analoger Anwendung von <ref-law> kann einer arbeitgeberähnlichen Person, welche eine Anstellung in einem Drittunternehmen verliert, der genannte Anspruch nicht mehr versagt werden, wenn die Beschäftigung im Drittbetrieb wenigstens sechs Monate gedauert hat. Dies trifft vorliegend zu, hat doch der Beschwerdeführer während sieben Monaten bei der Firma E._ gearbeitet. Damit steht ihm auf Grund der durch die Beendigung dieser Beschäftigung entstandenen Arbeitslosigkeit ein Anspruch auf Taggelder zu, sofern die übrigen Voraussetzungen erfüllt sind. Die Sache ist deshalb an die Verwaltung zurückzuweisen, damit sie dies prüfe und dem Beschwerdeführer gegebenenfalls entsprechende Leistungen ausrichte.
3. Das Verfahren ist kostenlos (Art. 134 OG). Dem obsiegenden Versicherten steht eine Parteientschädigung zu (Art. 159 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 22. Dezember 2003 und der Einspracheentscheid vom 20. März 2003 aufgehoben, und die Sache wird an das AWA zurückgewiesen, damit es im Sinne der Erwägungen verfahre.
1. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 22. Dezember 2003 und der Einspracheentscheid vom 20. März 2003 aufgehoben, und die Sache wird an das AWA zurückgewiesen, damit es im Sinne der Erwägungen verfahre.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Das AWA des Kantons Solothurn hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Entschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Das AWA des Kantons Solothurn hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Entschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Versicherungsgericht des Kantons Solothurn wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
4. Das Versicherungsgericht des Kantons Solothurn wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Öffentlichen Arbeitslosenkasse des Kantons Solothurn und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 2. Juli 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer: Der Gerichtsschreiber: