Sachverhalt:
A. Die Stadtpolizei Zürich entzog am 9. Dezember 2008 X._ das Patent zur Führung der Gastwirtschaft A._ mit sofortiger Wirkung, wogegen dieser tags darauf Einsprache beim Stadtrat von Zürich erhob. Da X._ wiederum einen Tag später - damit seine Frau ein vorübergehendes Gastwirtschaftspatent für bevorstehende Bankette erhalten könne - eine Patentrückzugserklärung unterzeichnet hatte, schrieb der Stadtrat von Zürich die Einsprache mit Beschluss vom 4. Februar 2009 als gegenstandslos geworden ab.
Den von X._ dagegen gerichteten Rekurs hiess die Volkswirtschaftsdirektion des Kantons Zürich am 16. März 2010 gut und stellte fest, der Entzug des Patents sei nicht rechtmässig erfolgt.
Gegen diesen Entscheid erhob das Polizeidepartement der Stadt Zürich Beschwerde beim Verwaltungsgericht des Kantons Zürich, welches am 6. Oktober 2010 in Gutheissung der Beschwerde die Verfügung der Volkswirtschaftsdirektion aufhob und den Entzug des Patents als rechtmässig bestätigte.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht zur Hauptsache, den erwähnten Entscheid des Verwaltungsgerichts des Kantons Zürich aufzuheben und ihm das Patent zur Führung einer Gastwirtschaft nicht zu entziehen.
Das Polizeidepartement der Stadt Zürich schliesst im Namen des Stadtrates von Zürich auf Abweisung der Beschwerde.
Die Volkswirtschaftsdirektion und das Verwaltungsgericht des Kantons Zürich haben auf eine Vernehmlassung verzichtet.
C. Mit Verfügung vom 7. Dezember 2010 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen, das Verfahren abschliessenden Endentscheid in einer Angelegenheit des öffentlichen Rechts (vgl. Art. 82 Abs. 1 und Art. 90 BGG). Ein Ausnahmetatbestand nach <ref-law> liegt nicht vor, und der Beschwerdeführer ist als Adressat vom angefochtenen Entscheid in schutzwürdigen Interessen besonders berührt und damit zur Beschwerde berechtigt (vgl. <ref-law>). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht ist demnach grundsätzlich zulässig.
1.2 Der Beschwerdeführer hat zwar, da seiner Einsprache gegen den Patententzug praxisgemäss die aufschiebende Wirkung entzogen worden war, auf das Patent verzichtet, damit seine Ehefrau gestützt auf ein vorübergehendes Patent den Betrieb weiterführen konnte. Die in solchen Fällen im Kanton Zürich angewandte Praxis, dem Verzichtenden im Rechtsmittelverfahren das aktuelle Rechtsschutzinteresse abzusprechen, ist vom Bundesgericht als unzulässige formelle Rechtsverweigerung qualifiziert worden (Urteil 2C_780/2008 vom 15. Juni 2009 E. 3). Bereits die kantonale Volkswirtschaftsdirektion hat daher gestützt auf dieses Urteil zu Recht erkannt, der Beschwerdeführer habe trotz des Verzichts ein aktuelles Rechtsschutzinteresse an der Beurteilung der materiellen Frage, ob ihm das Gastwirtschaftspatent zu Recht entzogen worden ist (vgl. angefochtenes Urteil E. 1.5). Dies gilt nach dem erwähnten bundesgerichtlichen Urteil auch für das vorliegende Verfahren.
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>).
1.4 Soweit die Vorinstanz kantonales Recht anzuwenden hatte, kann nur geltend gemacht werden, der angefochtene Entscheid verstosse gegen Normen des Bundesrechts (<ref-law>). Im Übrigen kann die Auslegung und Anwendung des kantonalen Rechts lediglich im Lichte der verfassungsmässigen Rechte und Grundsätze, insbesondere des Willkürverbots (<ref-law>), sowie der kantonalen verfassungsmässigen Rechte (<ref-law>) geprüft werden (<ref-ruling> E. 4.2.2 S. 158). Solche Rügen sind ausdrücklich zu erheben (<ref-law>; <ref-ruling> E. 3).
2. 2.1 Der Beschwerdeführer rügt zunächst eine Verletzung seines Anspruches auf Gewährung des rechtlichen Gehörs (<ref-law>). Diese erblickt er darin, dass die Vorinstanz ihren Entscheid ungenügend begründet habe, insbesondere ihn unterstützende Ausführungen nicht berücksichtigt habe.
2.2 Die Rüge ist unbegründet. Die Vorinstanz hat festgestellt, der Beschwerdeführer sei mit Verfügung des Stadtrichters von Zürich vom 9. Juli 2004 wegen Verletzung lebensmittelrechtlicher Vorschriften verzeigt und mit einer Busse bestraft worden, weil anlässlich einer Betriebskontrolle verdorbene bzw. im Wert unzulässig verminderte Lebensmittel in Verkehr gewesen seien. Sodann sei er mit Strafverfügung des Statthalteramts des Bezirks Zürich vom 18. Mai 2005 mit einer Busse bestraft worden, weil er unter anderem verdorbene Lebensmittel in Verkehr gebracht und hygienische Missstände geduldet habe. Dabei hätten sich die mehrfache Tatbegehung und die Vielzahl der Übertretungen sowie die einschlägige Vorbusse straferhöhend ausgewirkt. Die beiden Verfehlungen seien von der Stadt Zürich beim Patententzug durchaus berücksichtigt, indessen - da einige Jahre zurückliegend - nicht als ausschlaggebend erachtet worden.
Die Vorinstanz hat sich unter Hinweis auf die insoweit klare und ausführliche Darlegung in der Vernehmlassung der Stadt Zürich im kantonalen Verfahren (kant. act. 2 S. 12) deren Auffassung angeschlossen, weshalb sie ohne Gehörsverletzung auf weitere eigene Ausführungen zu diesen Verstössen verzichten durfte.
2.3 Dasselbe gilt für die Verstösse gegen das Abfallgesetz, welche die Vorinstanz als grundsätzlich negativ beurteilte.
2.4 Die Vorinstanz verweist weiter auf einen Bericht des Lebensmittelinspektorats der Stadt Zürich vom 3. April 2008, worin über 50 Verstösse aufgeführt würden, welche zur sofortigen lebensmittelpolizeilichen Schliessung des Restaurants geführt hätten. Auf einer Gefahrenstufe von 1 (gut) bis 4 (schlecht) sei der Betrieb in allen Beurteilungsbereichen mit Gefahrenstufe 3 (mangelhaft) beurteilt worden. Neben einer gebührenpflichtigen Nachkontrolle sei eine Strafanzeige im Sinn von Art. 31 Abs. 1 des Lebensmittelgesetzes vom 9. Oktober 1992 (SR 817.0) erfolgt. Bei einer am gleichen Tag durchgeführten Nachkontrolle seien jedoch bis auf wenige Mängel die meisten Beanstandungen behoben worden. In einer zweiten Nachkontrolle rund zwei Wochen später sei festgestellt worden, dass sämtliche Mängel behoben worden seien. Mit Strafverfügung des Statthalteramts des Bezirks Zürich vom 25. September 2008 sei der Beschwerdeführer für diese Verstösse gebüsst worden.
Dass dieser Umstand beim Patententzug mit zu berücksichtigen ist, hat die Vorinstanz mit dessen Erwähnung genügend aufgezeigt. Dass die Mängel im nachhinein behoben wurden - was von der Vorinstanz ausdrücklich festgestellt wird -, ändert nichts an den festgestellten Vorkommnissen.
2.5 Die Vorinstanz hat weiter festgestellt, dass der Beschwerdeführer gemäss Polizeibericht vom 3. Dezember 2008 ohne entsprechende Bewilligung eine ausländische Hilfsangestellte beschäftigt habe, wofür er mit Strafbefehl der Staatsanwaltschaft Zürich vom 26. Januar 2009 mit einer Geldstrafe und einer Busse bestraft wurde.
2.6 Einschränkend hat die Vorinstanz festgehalten, der Inspektionsbericht vom 18. Dezember 2008, welcher wiederum Verstösse gegen die Lebensmittelgesetzgebung aufgezeigt habe, könne für den vorliegenden Patententzug nicht berücksichtigt werden, weil zu diesem Zeitpunkt nicht der Beschwerdeführer Patentinhaber des Restaurants gewesen sei, sondern seine Ehefrau. Hingegen sei er ab dem 5. Januar 2009 mit Bewilligung der Stadt Zürich berechtigt gewesen, sein Lokal geöffnet zu halten, weshalb ihm die Ereignisse nach dem 5. Januar 2009 angerechnet werden dürften.
2.7 In der Entzugsverfügung vom 9. Dezember 2008 wird darauf hingewiesen, dass der Beschwerdeführer (vom 1. Januar 2007 bis 2. Juli 2008) verschiedene Male wegen Drohungen bzw. Tätlichkeiten gegenüber seinen Angestellten verzeigt worden sei. Im Beschluss des Stadtrates wird erwähnt, die entsprechenden Strafverfahren seien eingestellt worden, weil die Geschädigten den Strafantrag zurückgezogen hätten.
Die Vorinstanz erwähnt namentlich den Vorfall vom 2. Juli 2008. Diesbezüglich habe der Beschwerdeführer gemäss Einstellungsverfügung der Staatsanwaltschaft Zürich vom 13. November 2008 gestanden, eine seiner Angestellten arg beschimpft und ihr auch gedroht zu haben, sie zu erschiessen; er habe sich der Drohung im Sinne des Gesetzes geständig und schuldig erklärt; die Strafuntersuchung sei eingestellt worden, weil zwischen dem Beschwerdeführer und der Angestellten eine Vereinbarung über den Rückzug des Strafantrages getroffen worden sei.
Da der Beschwerdeführer diese Einstellungsverfügung nicht angefochten hat, durfte die Vorinstanz ohne Bundesrechtsverletzung von den darin getroffenen tatsächlichen Feststellungen ausgehen (vgl. <ref-ruling> E. 3c/aa).
2.8 Eine Verletzung des Anspruches auf rechtliches Gehör ist nicht gegeben. Dasselbe gilt für den Vorwurf, die Vorinstanz habe willkürlich und unverhältnismässig aus den tatsächlichen Feststellungen andere Schlussfolgerungen gezogen. Der Einwand, nach den Feststellungen der Vorinstanz blieben lediglich der lebensmittelrechtliche Verstoss vom 3. April 2008 und die Drohung gegen eine Angestellte, entbehrt der Grundlage und steht im Widerspruch zu den oben dargelegten Feststellungen der Vorinstanz.
3. 3.1 Der Beschwerdeführer rügt eine Verletzung seiner Wirtschaftsfreiheit (<ref-law>).
3.2 Diese erblickt er vor allem darin, dass für den gegen ihn verfügten Patententzug eine genügende gesetzliche Grundlage (<ref-law>) fehle; dies insbesondere weil von § 3 Abs. 2 GastgewerbeV/ZH bzw. § 14 Abs. 2 GastgewerbeG/ZH die ihm hauptsächlich vorgeworfenen Vorkommnisse (Verstoss gegen die Ausländergesetzgebung bzw. unkorrektes Verhalten gegenüber seinen Angestellten) nicht erfasst würden und somit nicht unter den Schutzbereich des Gastgewerbesetzes fielen.
3.2.1 Gemäss § 6 Abs. 1 des Zürcher Gastgewerbegesetzes vom 1. Dezember 1996 (GastgewerbeG/ZH) wird das Gastwirtschaftspatent erteilt, wenn die betrieblichen (§ 13 GastgewerbeG/ZH) und persönlichen Voraussetzungen (§ 14 GastgewerbeG/ZH) erfüllt sind. Das Patent wird verweigert, wenn der Bewerber offensichtlich keine Gewähr für eine einwandfreie Betriebsführung bietet, insbesondere wenn er in den letzten fünf Jahren wiederholt wegen schwerwiegender Verfehlungen in Zusammenhang mit der Ausübung des Gastgewerbes bestraft wurde (§ 14 Abs. 2 GastgewerbeG/ZH).
Das Gastwirtschaftspatent wird entzogen, wenn die Voraussetzungen für die Erteilung nicht mehr gegeben sind (§ 3 Abs. 2 der kantonalen Verordnung vom 16. Juli 1997 zum Gastgewerbegesetz [GastgewerbeV/ZH]).
Gemäss den Weisungen und Richtlinien zum Gastgewerbegesetz der Zürcher Direktion der Finanzen vom 17. Juli 1997 sind schwerwiegende Verfehlungen im Sinn von § 14 Abs. 2 GastgewerbeG/ZH dem Strafregisterauszug zu entnehmen, wobei zu prüfen ist, ob diese Verfehlungen auch wirklich im Zusammenhang mit der Ausübung des Gastgewerbes stehen. Darunter fallen namentlich Verfehlungen im Bereich des Gastgewerbegesetzes, der Lebensmittelgesetzgebung oder des Drogenhandels in Gastwirtschaften (lit. C Ziff. 10; ABl 1997, 974 ff., 975).
3.2.2 Die Vorinstanz hat erkannt, der Patententzug diene insbesondere, aber nicht nur dem Schutz der Gäste; der Schutzbereich des Gesetzes umfasse auch andere Personen, z.B. die Anwohner mit Blick auf Lärmbelästigungen oder auch die Angestellten - so liege das in § 22 GastgewerbeG/ZH aufgenommene Rauchverbot nicht nur im Interesse der Gäste, sondern auch im Interesse der Angestellten. Der Patentinhaber sei zudem für die Aufrechterhaltung von Ordnung und guter Sitte im Betrieb verantwortlich (§ 17 Abs. 1 GastgewerbeG/ZH); daraus könne die Pflicht abgeleitet werden, mit den Angestellten rechtmässig umzugehen.
3.2.3 Diese Auslegung des kantonalen Rechts steht im Einklang mit der bundesgerichtlichen Rechtsprechung zum Entzug von Patenten gegenüber Anwälten bzw. Berufsausübungsverboten gegenüber Ärzten. Von diesen wird ebenfalls ein korrektes Verhalten bei der gesamten beruflichen Tätigkeit verlangt (vgl. Urteil 2C_737/2008 vom 8. April 2009 E. 3.3); dabei ist namentlich auch die Persönlichkeit bzw. die charakterliche Eignung des Betreffenden zu berücksichtigen (vgl. Urteil 2C_68/2009 vom 14. Juli 2009 E. 7.1).
Wesen und Zweck des Wirtschaftspatents ist es, sowohl zum Schutz der eigentlichen Kundschaft als auch im Interesse der Allgemeinheit die Führung eines ordnungsgemässen Betriebes zu gewährleisten. Es soll sicherstellen, dass bestimmte Voraussetzungen wie ein guter Leumund oder moralische und fachliche Qualifikationen sowie die charakterliche Eignung vorhanden sind, die aus polizeilicher (oder gewerbepolitischer) Sicht unerlässlich erscheinen, um einen störungsfreien Wirtschaftsbetrieb zu garantieren; namentlich das Erfordernis des guten Leumundes bzw. des guten Rufes ist dahingehend auszulegen, dass der Patentbewerber volle Gewähr für eine ordentliche, ehrbare und vertrauenswürdige Wirtschaftsführung bieten muss. Bei der Prüfung der persönlichen Verhältnisse sind deshalb auch Umstände zu berücksichtigen, die sich ausserhalb der gastgewerblichen Betätigung ereignet haben (MARCEL MANGISCH, Die Gastwirtschaftsgesetzgebung der Kantone im Verhältnis zur Handels- und Gewerbefreiheit, 1982, S. 102, 115 f.). Vom Bewerber wird insgesamt eine für Gäste und Personal einwandfreie Wirtschaftsführung erwartet (YVONNE ECKSTEIN, Das Gastwirtschaftspatent im Kanton Baselland, Diss. Basel, 1979, S. 44).
3.2.4 Es ist deshalb in verfassungsrechtlicher Hinsicht nicht zu beanstanden, wenn die Vorinstanz zu der von § 14 Abs. 2 GastgewerbeG/ZH verlangten einwandfreien Betriebsführung auch das korrekte Verhalten gegenüber dem eigenen Personal zählt.
Die genannte Norm bildet eine ausreichende gesetzliche Grundlage für den Patententzug, und sie verfolgt nach dem Ausgeführten öffentliche Interessen, die eine Einschränkung der Wirtschaftsfreiheit rechtfertigen.
3.3 Angesichts der schwerwiegenden wiederholten Verstösse gegen die Lebensmittelgesetzgebung sowie die weiteren erwähnten Widerhandlungen (Beschäftigung einer Ausländerin ohne Bewilligung, Bedrohung und Diskriminierung von Angestellten, Verstoss gegen das Abfallgesetz) erweist sich der Patenentzug auch als verhältnismässig. Soweit der Beschwerdeführer einwendet, ein solcher sei ihm nie angedroht worden, ist dies aktenwidrig: Anlässlich der polizeilichen Befragung vom 24. Juli 2008 wurde der Beschwerdeführer darauf hingewiesen, dass im Falle weiterer schwerwiegender Verfehlungen im Zusammenhang mit der Führung des Betriebes bzw. des eigenen Personals, die angezeigt würden und zur Verurteilung führten, verwaltungsrechtliche Massnahmen bis zum Patententzug eingeleitet würden. Der in diesem Zusammenhang erhobene Vorwurf der unrichtigen Sachverhaltsfeststellung ist ebenfalls unbegründet. Die Vorinstanz hat auch nicht übersehen, dass im Betrieb des Beschwerdeführers im baulichen und hygienischen Bereich in der jüngsten Zeit erhebliche Fortschritte erreicht wurden. Sie weist jedoch zu Recht darauf hin, dass auch die letzte Inspektion zu Beanstandungen geführt hat und weitere Untersuchungen der Hygiene in Aussicht gestellt hat.
3.4 Indem die Vorinstanz in Berücksichtigung aller Umstände zum Schluss gelangt ist, dem Beschwerdeführer sei das Gastwirtschaftspatent zu Recht entzogen worden, hat sie kein Bundesrecht verletzt.
4. Die Beschwerde ist aus diesen Gründen abzuweisen. Entsprechend diesem Ausgang hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 2. März 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Küng