Faits:
A. X._ et Y._ exploitent, sous forme d'une société simple, la maison de ventes aux enchères Z._. Ils organisent en moyenne quatre ventes aux enchères publiques par année, avec le concours d'un huissier judiciaire.
Le 28 septembre 2008, Z._ a organisé une vente aux enchères privées chez un particulier, sans recourir à un huissier judiciaire et précédée d'une exposition du 24 au 27 septembre 2008. Constatant toute la publicité faite pour cet événement (annonces dans la Tribune de Genève et affiches publicitaires apposées dans le canton), la Chambre des huissiers de Genève a dénoncé ces faits au Service du commerce du canton de Genève (ci-après: le Service du commerce). Par courrier du 26 septembre 2008, ce dernier a informé les organisateurs qu'il n'autorisait pas la vente du 28 septembre 2008. L'exposition ayant déjà commencé, ceux-ci ont maintenu la vente qui s'est déroulée comme prévu, sous la surveillance d'un inspecteur du Service du commerce et de plusieurs policiers.
Z._ a protesté contre cette intervention, par lettre du 3 octobre 2008, en soutenant que l'évènement s'était déroulé uniquement sur invitations personnelles. Aucune suite n'a été donnée à cette lettre et à la décision du 26 septembre 2008. Lors d'un entretien entre X._, Y._ et le Service du commerce, le 6 octobre 2008, ce dernier a indiqué qu'il étudiait l'état actuel de la loi et de la jurisprudence.
B. Le 2 novembre 2009, la Chambre des huissiers judiciaires de Genève a adressé une nouvelle dénonciation au Service du commerce au sujet de la vente aux enchères privées prévue sur le site internet de Z._, le 15 novembre 2009, à 14 heures, dans une villa, dont l'adresse n'était pas mentionnée; il était toutefois précisé que "la participation à cette vente aux enchères privées et la visite de l'exposition qui la précède ne seront admises que sur présentation de votre invitation personnelle ou suite à l'inscription préalable des enchérisseurs. Merci de nous contacter à cet effet".
Le Service du commerce a convoqué MM. X._ et Y._ à une séance fixée au 10 novembre 2009, mais ceux-ci ont répondu qu'ils n'étaient pas disponibles avant le 18 novembre 2009. Ils ont également déclaré qu'ils n'avaient pas l'intention de requérir une autorisation pour la vente du 15 novembre 2009 et ont invité les inspecteurs du Service du commerce à venir constater le caractère privé de cette vente.
Par décision du 13 novembre 2009, le Service du commerce a prononcé qu'à défaut d'autorisation, la vente du 15 novembre 2009 serait considérée comme non autorisée et a menacé les organisateurs de sanctions administratives, voire pénales. Cette décision, prise en application de la loi genevoise sur les ventes volontaires aux enchères publiques du 24 juin 1983 (LVVE; RSGE I 2 30) et de son règlement d'exécution du 19 octobre 1983 (RVVE; RSGE I 2 30.01), était déclarée exécutoire nonobstant recours.
Aucune autorisation n'ayant été demandée pour la vente du 15 novembre 2009, une amende de 10'000 fr. a été infligée à Y._ pour violation à l'art. 5 LVVE, à laquelle ce dernier s'est opposé.
C. Le 14 décembre 2009, X._ et Y._ ont recouru auprès du Tribunal administratif du canton de Genève contre la décision du Service du commerce du 13 novembre 2009.
Lors de l'audition des parties les 12 février et 24 mars 2010, les recourants ont notamment expliqué qu'ils procédaient occasionnellement à des ventes privées au domicile du vendeur en cas d'urgence, tel un départ à l'étranger ou l'obligation d'un propriétaire d'entrer en EMS. Ils procédaient alors eux-mêmes et tenaient un procès-verbal de la vente, comme le ferait un huissier judiciaire. Leur personnel assurait la surveillance et le contrôle des invitations à l'entrée. De son côté, l'inspecteur du Service du commerce a maintenu que le caractère public de la vente du 15 novembre 2009 était donné par le fait qu'il avait pu entrer dans les locaux le jour avant sans que personne ne lui demande quoi que ce soit et qu'il avait reçu la liste des objets mis en vente. Il avait aussi constaté que certaines personnes étaient entrées sans être en possession d'une invitation.
Le 28 mai 2010, le Service du commerce a signifié à MM. X._ et Y._, par pli remis le même jour à leur conseil, qu'à défaut d'autorisation, la vente aux enchères prévue par la maison Z._ le 30 mai 2010, était considérée comme non autorisée. Estimant qu'il n'avait pas été mandaté pour cette nouvelle cause, le conseil des recourants a refusé d'accepter la notification. De leur côté, les intéressés n'ont pas voulu contresigner la décision que l'inspecteur du Service du commerce était venu leur notifier le lendemain, sur le lieu même de la vente, et n'ont pas davantage retiré le pli recommandé contenant cette décision, qui leur a été adressé personnellement, à leur domicile, le 31 mai 2010.
Le 28 juin 2010, après un échange de correspondances avec le Service du commerce, X._ et Y._ ont également recouru contre la décision du 28 mai 2010 auprès du Tribunal administratif, en faisant valoir qu'elle ne leur était pas opposable, faute de notification régulière et en reprenant leur argumentation sur le caractère privé de la vente aux enchères en cause.
Par arrêt du 9 novembre 2010, le Tribunal administratif a prononcé la jonction des recours contre les décisions des 13 novembre 2009 et 28 mai 2010 et les a rejetés, avec suite de frais à la charge solidaire des recourants. Au vu des buts poursuivis par la loi, il a constaté que le fait que les deux ventes incriminées s'étaient déroulées chez des particuliers ne suffisait pas à leur conférer un caractère de vente privée et que l'instruction avait démontré que les cartons d'invitation n'étaient pas réservés aux clients, mais étaient largement distribués, de sorte que tout intéressé pouvait s'en procurer aisément et participer ainsi à une vente annoncée sur le site internet de Z._, dans les journaux, voire sur la voie publique.
D. Par acte du 23 décembre 2010, X._ et Y._ forment auprès du Tribunal fédéral un recours en matière de droit public et concluent, sous suite de frais et dépens, à l'annulation de l'arrêt rendu par le Tribunal administratif le 9 novembre 2010. Cela fait, ils demandent au Tribunal fédéral, principalement, de constater que les décisions du Service du commerce des 13 novembre 2009 et 28 mai 2010 sont nulles et de nul effet, subsidiairement, d'annuler ces décisions, de constater que la décision du Service du commerce du 28 mai 2010 est inopposable aux recourants et de constater que les ventes aux enchères des 15 novembre 2009 et 30 mai 2010 étaient des ventes aux enchères privées. A titre subsidiaire encore, les recourants proposent au Tribunal fédéral de renvoyer la cause au Tribunal administratif pour nouvelle décision au sens des considérants ou de renvoyer la cause à cette juridiction pour qu'elle complète sa décision conformément à l'art. 112 al. 1 let. b LTF.
Par acte séparé du même jour, X._ et Y._ ont formé auprès du Tribunal fédéral un recours en matière civile et un recours constitutionnel subsidiaire, dans lequel ils formulent les mêmes conclusions que dans leur recours en matière de droit public.
Le Tribunal administratif persiste dans les considérants et le dispositif de son arrêt. Le Service du commerce a déposé des observations au terme desquelles il conclut au rejet du recours en matière de droit public, sous suite de frais, de même qu'au rejet du recours en matière civile et du recours constitutionnel subsidiaire, sous suite de frais.
Considérant en droit:
1. 1.1 Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (ATF 136 I 43 consid. 1 p. 43; 136 II 101 consid. 1 p. 103).
1.2 Le recours est dirigé contre un jugement final (art. 90 LTF) rendu dans une cause de droit public (cf. art. 82 let. a LTF) par un tribunal cantonal supérieur (art. 86 al. 1 let. d et al. 2 LTF), sans que l'on se trouve dans l'un des cas d'exceptions mentionnés par l'art. 83 LTF, ni que le droit cantonal de droit public applicable puisse être considéré comme connexe au droit civil au sens de l'art. 72 al. 2 let. b LTF. Il a en outre été déposé dans le délai ( art. 46 al. 1 let. c et 100 al. 1 LTF) et en la forme (art. 42 LTF) prévus par la loi.
1.3 La qualité pour recourir au sens de l'art 89 al. 1 LTF suppose notamment que le recourant ait un intérêt actuel digne de protection à l'annulation ou à la modification de la décision entreprise (ATF 131 II 361 consid. 1.2 p. 365). Cet intérêt actuel doit exister non seulement au moment du dépôt du recours, mais encore au moment où l'arrêt est rendu. Le Tribunal fédéral fait exceptionnellement abstraction de l'exigence d'un intérêt actuel, lorsque la contestation peut se reproduire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la trancher avant qu'elle ne perde son actualité et qu'en raison de sa portée de principe, il existe un intérêt public suffisamment important à la solution de la question litigieuse (ATF 137 I 123 consid. 1.3.1; 136 II 101 consid. 1.1; 135 I 79 consid. 1.1 p. 81). Cette situation est réalisée dans le cas des recourants, dès lors qu'ils organisent régulièrement des ventes aux enchères, dont le caractère public ou privé doit pouvoir être tranché, indépendamment du fait que les ventes des 13 novembre 2009 et 28 mai 2010 faisant l'objet du présent recours ont déjà eu lieu.
1.4 Le recours est ainsi recevable comme recours en matière de droit public, ce qui entraîne l'irrecevabilité du recours en matière civile et celle du recours constitutionnel subsidiaire.
2. Sauf dans les cas cités expressément à l'art. 95 LTF (non pertinents en l'espèce), le recours en matière de droit public ne peut pas être formé pour violation du droit cantonal en tant que tel. Il est seulement possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire (art. 9 Cst.) ou contraire à d'autres droits constitutionnels (cf. ATF 133 III 462 consid. 2.3 p. 466 et les arrêts cités). Le Tribunal fédéral n'examinera toutefois les moyens fondés sur la violation d'un droit constitutionnel que s'ils ont été invoqués et motivés de manière précise (principe de l'allégation déduit de l'art. 106 al. 2 LTF; ATF 136 I 65 consid. 1.3.1 p. 68; 135 I 313 consid. 1.3 p. 316; 135 V 94 consid. 1 p. 95).
Le Tribunal fédéral procède à son examen en se fondant sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - soit arbitrairement (ATF 134 V 53 consid. 4.3 p. 63) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Si le recourant entend s'écarter des faits retenus par l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF en lien avec l'art. 106 al. 2 LTF; cf. ATF 135 II 313 consid. 5.2.2 p. 322; 133 II 249 consid. 1.4 p. 254 ss et les arrêts cités).
3. Dans un premier moyen, les recourants se plaignent d'une violation de l'art. 112 al. 1 let. b LTF. Ils reprochent au Tribunal administratif de s'être borné à résumer les prises de position des parties, ainsi que le contenu des pièces et des témoignages, sans apprécier les preuves, ni préciser les éléments écartés et admis pour chacune des ventes. Ce faisant, il aurait violé, d'une part, le principe du fardeau de la preuve, en tenant pour avéré les faits relatés par le Service du commerce et, d'autre part, leur droit d'être entendus, dès lors que l'arrêt attaqué contient une motivation juridique sommaire et ne se prononce pas sur la violation du principe de la bonne foi dont ils s'étaient prévalus.
3.1 A teneur de l'art. 112 al. 1 let. b LTF, les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral doivent contenir les motifs déterminants de fait et de droit, notamment les dispositions légales appliquées. Il résulte de cette norme que ces décisions doivent indiquer clairement les faits qui sont établis et les déductions juridiques qui sont tirées de l'état de fait déterminant. Savoir quels sont les faits déterminants revêt une importance particulière dans la mesure où le Tribunal fédéral est en principe lié par ceux arrêtés par la dernière instance cantonale. Un état de fait insuffisant empêche l'application des règles de droit pertinentes à la cause. Un tel manquement constitue donc une violation du droit. Si une décision attaquée ne satisfait pas aux exigences fixées à l'art. 112 al. 1 LTF, le Tribunal fédéral peut soit la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (art. 112 al. 3 LTF; ATF 135 II 145, consid. 8.2 et les références citées).
Il est vrai que, dans ses considérants en droit, la Cour cantonale a analysé globalement les trois ventes aux enchères qui avaient donné lieu à l'intervention du Service du commerce, dont celle du 28 septembre 2008 qui n'était pas litigieuse dans la procédure, et n'a donc pas distingué les faits et les preuves retenus à l'encontre de chacune d'entre elles. Le Tribunal fédéral estime toutefois qu'il ne se justifie pas de lui renvoyer l'affaire pour l'amener à mettre de l'ordre dans sa décision (cf. art. 113 al. 3 LTF; arrêt 4A_231/2010 du 10 août 2010, consid. 2.2, in SJ 2010 I p. 497), car l'arrêt attaqué contient des faits précis décrivant les circonstances de chacune des ventes et mentionne clairement les dispositions cantonales appliquées. Il permet ainsi de se rendre compte que les juges cantonaux se sont basés sur l'ensemble des éléments à prendre en considération pour qualifier de publiques les ventes organisées par les recourants. Au demeurant, les deux ventes litigieuses se sont déroulées dans des circonstances identiques, sous réserve de la distribution d'invitations dans l'immeuble abritant l'évènement et dans son environnement immédiat pour la vente du 30 mai 2010, de sorte qu'elles pouvaient être analysées globalement.
3.2 Les recourants invoquent aussi une violation de leur droit d'être entendu, garanti par l'art. 29 al. 2 Cst., en ce sens que la cour cantonale n'aurait pas motivé sa décision de façon suffisante, tant sur les faits que sur les considérants en droit.
3.2.1 La jurisprudence a notamment déduit du droit d'être entendu l'obligation pour l'autorité de motiver sa décision, afin que son destinataire puisse la comprendre et l'attaquer utilement s'il y a lieu (ATF 133 I 270 consid. 3.1 p. 277; 133 III 439 consid. 3.3 p. 445). Le juge n'a cependant pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties; il suffit qu'il mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (ATF 134 I 83 consid. 4.1 p. 88; 133 III 439 consid. 3.3 p. 445).
En l'espèce, l'argumentation de la cour cantonale est certes sommaire, mais elle est suffisante pour que les recourants aient connaissance des motifs qui ont permis aux juges cantonaux de qualifier de public le caractère des ventes organisées par Z._. Même si l'intimé admet que seule la vente non litigieuse du 28 septembre 2008 était annoncée dans les journaux et sur la voie publique, les premiers juges ont retenu que les ventes incriminées des 15 novembre 2009 et 30 mai 2010 étaient annoncées sur le site de Z._ et qu'il était alors aisé pour tout intéressé de se procurer un carton d'invitation, un certain nombre de ceux-ci ayant encore été distribués dans les boîtes aux lettres d'habitations du quartier. Expliqués au regard des buts poursuivis par la LVVE et des constatations de faits longuement développées dans l'arrêt attaqué, ces arguments permettaient aux recourants de savoir sur quelles bases reposait l'obligation qui leur avait été faite de requérir une autorisation pour les ventes en cause. Par ailleurs, il ressort de l'arrêt attaqué que le Service du commerce a suivi de très près les démarches de Z._ avant chacune des ventes, en se rendant sur place ou en explorant le site internet de l'entreprise, et que la juge déléguée a ensuite procédé à deux auditions des parties pour vérifier leur version des faits, ainsi qu'à l'audition de quatre témoins. Sur ce point, les recourants reprochent donc à tort au Service du commerce de n'avoir entrepris aucune démarche pour établir que les ventes incriminées étaient publiques et aux juges cantonaux d'avoir violé l'art. 8 CC. Il n'appartenait en effet pas à ces derniers de discuter chaque moyen de preuve et d'expliquer pourquoi l'un ou l'autre était jugé sans pertinence. Au demeurant, dès que l'existence d'un élément de fait est considérée comme établie ou est niée, la question du fardeau de la preuve ne se pose plus (cf. arrêt 4A_16/2011 du 18 mars 2011 consid. 4.3).
En revanche, on peut donner acte aux recourants que l'arrêt du Tribunal fédéral cité dans la décision entreprise (arrêt 5C.301/2006 du 16 mai 2007) n'est d'aucune utilité pour la présente cause, dans la mesure où la distinction qu'il opère entre enchères publiques et privées (entre héritiers) ne concerne que le partage ou l'attribution de biens successoraux, lorsque les héritiers ne s'entendent pas et qu'il appartient alors au juge de se prononcer sur les modalités des enchères (cf. art. 612 al. 3 CC; arrêt précité, consid. 3.1). De même, il peut être constaté que l'arrêt attaqué ne mentionne pas la violation du principe de la bonne foi alléguée par les recourants, pas plus qu'il ne se prononce expressément sur la notification de la décision du 28 mai 2010. Le fait que les juges cantonaux ont renoncé à se prononcer expressément sur ces deux points est toutefois sans conséquence, dès lors qu'allégués à nouveau devant le Tribunal fédéral, les griefs des recourants doivent être rejetés comme étant manifestement mal fondés (cf. infra consid. 3.2.2).
3.2.2 Le droit à la protection de la bonne foi peut certes être aussi invoqué en présence d'un comportement de l'administration, pour autant que celui-ci soit susceptible d'éveiller chez l'administré une attente ou une espérance légitime (ATF 129 II 361 consid. 7.1 p. 381; 129 I 161 consid. 4.1 p. 170; 126 II 377 consid. 3a p. 387 et les arrêts cités; voir aussi arrêt 2C_212/2008 du 3 septembre 2008 consid. 11 non publié à l'ATF 134 II 265). La précision que l'attente ou l'espérance doit être "légitime" est une autre façon de dire que l'administré doit avoir eu des raisons sérieuses d'interpréter comme il l'a fait le comportement de l'administration et d'en déduire les conséquences qu'il en a tirées. Tel n'est notamment pas le cas s'il apparaît, au vu des circonstances, qu'il devait raisonnablement avoir des doutes sur la signification du comportement en cause et se renseigner à ce sujet auprès de l'autorité (ATF 134 I 199 consid. 1.3.1 p. 203).
En l'espèce, l'attitude du Service du commerce à l'égard des ventes organisées par les recourants a toujours été sans équivoque et n'a pu leur faire croire à aucun moment que le caractère privé des ventes en cause était reconnu et qu'il n'était pas nécessaire qu'ils demandent une autorisation, comme l'exige la loi pour les ventes aux enchères publiques (cf. art. 5 LVVE). Les recourants reprochent certes à l'intimé de ne pas avoir répondu à leur courrier du 3 octobre 2008, mais ce dernier avait rencontré les intéressés trois jours plus tard pour s'expliquer. On ne saurait donc considérer le fait que le Service du commerce ait attendu la seconde dénonciation de la Chambre des huissiers judiciaires, plus d'une année après, pour réagir à nouveau, comme un abandon de sa position affichée lors de l'organisation de la première vente du 28 septembre 2008. Les recourants devaient donc s'attendre à être reconvoqués et à ce que leur indisponibilité à se présenter au Service du commerce avant la vente du 15 novembre 2009 entraîne une interdiction, puis une sanction si la vente avait lieu en dépit du défaut d'autorisation. Il n'en va pas différemment pour la vente du 30 mai 2010, laquelle ne pouvait faire l'objet que d'une nouvelle interdiction, dans la mesure où elle était organisée aux mêmes conditions que la vente précédente, objet du recours pendant auprès du Tribunal administratif. Durant toute la procédure, la position du Service du commerce n'a pas varié et n'a donc pas été susceptible d'éveiller une "espérance légitime" au sens de la jurisprudence. C'est au contraire l'attitude des recourants face à la notification de la décision d'interdiction du 28 mai 2010 qui est contraire au principe de la bonne foi. Il est en effet à la limite de la témérité de plaider l'absence de notification régulière, alors qu'ils ont eux-mêmes refusé d'accepter cette décision lorsque l'inspecteur du Service du commerce s'était rendu sur les lieux de la vente pour la leur notifier personnellement et qu'ils ont ensuite laisser courir le délai de garde sans retirer le pli recommandé qui leur avait été adressé à leur domicile.
3.2.3 Il s'ensuit que, même si l'on peut regretter que le Tribunal administratif n'ait pas mentionné expressément qu'il estimait manifestement mal fondés ces griefs, cette lacune n'a pas empêché les recourants de saisir la portée de l'arrêt entrepris et de l'attaquer en connaissance de cause. Partant, aucune violation du droit d'être entendu ne peut lui être reprochée.
4. Au fond, les recourants se plaignent de l'application arbitraire du droit cantonal et de violation des art. 229 et 236 CO. Ils prétendent aussi que le Tribunal administratif aurait, en méconnaissance de l'art. 1 CC, fait acte de législateur en définissant lui-même la vente aux enchères privées.
4.1 Le canton de Genève a promulgué la LVVE, entrée en vigueur le 1er janvier 1984, en application de l'art. 236 CO permettant aux cantons d'édicter d'autres règles que celles du CO en matière d'enchères publiques, pourvu qu'elles ne dérogent pas au droit fédéral. Selon le législateur, il s'agissait de mieux réglementer les ventes, en définissant en particulier le rôle et les obligations de l'huissier judiciaire, d'assurer la transparence des opérations, notamment en empêchant les adjudications fictives et d'éviter le commerce d'objets de provenance douteuse (cf. Mémorial des séances du Grand Conseil 1981 p. 3274). La législation genevoise relative aux ventes volontaires aux enchères publiques avait en effet été jugée insuffisante, au vu de l'importance prise par ces ventes durant les dix dernières années, en particulier depuis l'implantation, à Genève, de grandes maisons de renom international. Conformément au droit fédéral (cf. art. 229 al. 2 CO), le projet de loi prévoyait ainsi qu'une vente n'a lieu aux enchères publiques que si elle est annoncée publiquement et si chacun peut enchérir, toutes les offres étant admises (cf. Mémorial des séances du Grand Conseil 1980 p. 4658 et 4659).
4.2 L'art. 1 al. 1er LVVE dispose que toute vente volontaire aux enchères publiques d'objets mobiliers doit être faite par l'intermédiaire d'un huissier judiciaire. Une telle vente doit être préalablement autorisée par le département, à la demande de l'huissier requis d'y procéder (art. 5 al. 1er LVVE). Elle doit être précédée:
a) d'une publicité suffisante faite à différentes reprises, au moins 8 jours à l'avance, par affiches ou par annonces dans les journaux, mais en tout cas une fois par la voie de la Feuille d'avis officielle;
b) d'une exposition publique des objets à vendre, sauf dispense accordée par le département (art. 6 al. 1 LVVE).
La seule question litigieuse est donc de savoir si le Tribunal administratif a interprété ces dispositions de manière arbitraire, en considérant que les ventes organisées par les recourants tombaient sous le coup de la LVVE et ne pouvaient donc être qualifiées de privées.
4.3 Une décision est arbitraire lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. De plus, il ne suffit pas que les motifs de l'arrêt attaqué soient insoutenables, encore faut-il que ce dernier soit arbitraire dans son résultat. Il n'y a en outre pas arbitraire du seul fait qu'une autre solution que celle de l'autorité intimée paraît concevable, voire préférable (ATF 136 III 552 consid. 4 p. 560; ATF 134 I 263 consid. 3.1 p. 266, 140 consid. 5.4 p. 148).
4.4 En l'espèce, les juges cantonaux ont constaté à juste titre qu'il n'existait pas de définition de la vente aux enchères privées dans la loi et qu'il y avait donc lieu d'appliquer a contrario les critères de la vente aux enchères publiques. Cette façon de procéder est conforme à la doctrine (cf. JEAN-PAUL VULLIÉTY, Commentaire romand, CO I, n. 13 ad art. 229-236 p. 1192; TERCIER/FAVRE, Les contrats spéciaux, 4ème éd. n. 1465 p. 215) qui, pour définir la vente aux enchères volontaires privées, part a contrario de l'art. 229 al. 2 CO relatif à la vente aux enchères volontaires publiques, dont découlent trois conditions. Il faut que la vente soit annoncée publiquement, que toutes les offres soient admises, c'est-à-dire sans limitation du cercle des personnes ayant le droit de participer à la vente et d'y faire des offres, et que la vente soit volontaire, ce qui implique qu'elle ait été décidée par le vendeur lui-même (RETO THOMAS RUOSS, Basler Kommentar, OR I, 4ème éd. n. 3 à 6 ad art. 229 p. 1273/1274; CORINNE ZELLWEGER-GUTKNECHT, Präjudizienbuch OR, 7ème éd. n. 2 ad art. 229 p. 594). Contrairement à ce que soutiennent les recourants, le Tribunal administratif n'a donc pas fait oeuvre de législateur, en définissant la vente aux enchères privées, car celle-ci ne peut être effectivement reconnue que si elle ne remplit pas les critères de la vente aux enchères publiques. Le fait que l'on se réfère aux critères de l'art. 229 al. 2 CO pour définir la vente aux enchères publiques ne signifie toutefois pas que cette disposition soit directement applicable en lieu et place du droit cantonal édicté sur la base de l'art. 236 CO, mais que le droit cantonal est interprété comme il se doit, à la lumière du droit fédéral. Le recours n'est dès lors pas fondé en tant qu'il porte sur une violation des art. 229 et 236 CO. Pour le reste, il y a lieu de relever que la référence au dictionnaire "Petit Robert" contenue dans l'arrêt attaqué au sujet des adjectifs "public et "privé" est sans pertinence.
La seule question qui se pose est donc de savoir si les juges cantonaux ont appliqué arbitrairement les critères précités aux ventes des 15 novembre 2009 et 30 mai 2010, toutes deux s'étant déroulées de la même manière.
4.5 Il est constant qu'en l'espèce, les ventes incriminées étaient clairement annoncées sur le site internet de Z._, avec la liste des objets à vendre et leur estimation dans une fourchette de prix. Or, même si elle ne touche pas un nombre aussi élevé de personnes qu'une annonce publicitaire dans les journaux, ce moyen s'adresse à tout intéressé qui peut aisément faire le tour des ventes aux enchères prévues en utilisant ce moyen d'information. Par conséquent, il faut admettre qu'il constitue aussi une annonce publique au sens de l'art. 229 al. 2 CO (cf. JEAN-PAUL VULLIÉTY, op. cit. , n. 9 ad art. 229-236, p. 1191). Il est par ailleurs établi que les personnes qui désiraient participer à l'une ou l'autre des ventes annoncées n'avaient qu'à contacter Z._ qui distribuait largement ses cartons d'invitation et indiquait ainsi le lieu de la vente annoncée. Les recourants soutiennent donc en vain que les ventes incriminées étaient privées, parce qu'elles s'adressaient uniquement à leurs clients et que le lieu de l'exposition des enchères n'était pas mentionné sur leur site internet. Il ressort en réalité de l'instruction que les recourants ont choisi de ne pas se conformer à toutes les conditions posées pour les ventes aux enchères volontaires publiques, par exemple en renonçant aux annonces publicitaires dans les journaux et à la publication dans la Feuille d'avis officielle (cf. art. 6 al. 1 let a LVEE), mais que les moyens qu'ils ont utilisés pour annoncer leurs ventes correspondent aux critères admis pour de telles ventes. Au regard des buts poursuivis par le LVVE, le Tribunal administratif n'est pas tombé dans l'arbitraire en reconnaissant que les ventes litigieuses tombaient sous le coup des art. 1er al. 1 et 6 LVVE et étaient donc soumises à autorisation, conformément à l'art. 5 al. 1 LVVE. Toute autre solution permettrait en effet de contourner la loi en opérant uniquement par internet pour des ventes aux enchères qui ne s'adressent de toute façon pas forcément à un large public.
4.6 Le recours ne peut dès lors qu'être rejeté en tant qu'il porte sur une application arbitraire du droit cantonal.
5. Au vu de ce qui précède, le recours en matière de droit public doit être rejeté, avec suite de frais à la charge solidaire et conjointe des recourants (art. 66 al. 1 et 5 LTF). Aucun dépens ne sera alloué (art. 68 al. 2 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté.
2. Le recours en matière civile et le recours constitutionnel subsidiaire sont irrecevables.
3. Les frais judiciaires, arrêtés à 3'000 fr, sont mis à la charge des recourants, solidairement entre eux.
4. Le présent arrêt est communiqué au mandataire des recourants, au Service du commerce et au Tribunal administratif du canton de Genève.
Lausanne, le 31 mai 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Rochat