Nach Einsicht
in die Beschwerde gemäss <ref-law> gegen den Beschluss VV100044/U vom 22. November 2010 des Obergerichts des Kantons Zürich, das das Ausstandsbegehren des Beschwerdeführers gegen die Mitglieder des Bezirksgerichts Horgen (I. Abteilung als unterer SchK-Aufsichtsbehörde) abgewiesen hat, auf das Ablehnungsbegehren des Beschwerdeführers gegen die Verwaltungskommission nicht eingetreten ist und dem Beschwerdeführer wegen mutwilliger Prozessführung (<ref-law>) eine Staatsgebühr von Fr. 200.-- auferlegt hat,
in das Gesuch um unentgeltliche Rechtspflege (einschliesslich Rechtsverbeiständung),

in Erwägung,
dass das Obergericht hinsichtlich des Ausstandsbegehrens gegen die Mitglieder der unteren Aufsichtsbehörde erwog, die angeblich fehlerhaften Entscheide und Verfahren dieser Behörde hätte der Beschwerdeführer im jeweiligen Rechtsmittelverfahren rügen und korrigieren lassen müssen, dass er dies getan hätte, behaupte er selbst nicht, bei den Mängeln handle es sich um unbelegte Behauptungen, im Übrigen werde das Betreibungsamt A._ gemäss Bericht des Zürcher Betreibungsinspektorats ordnungsgemäss geführt, gegen die vom Beschwerdeführer beanstandeten rechtkräftigen Verwaltungsabrechnungen habe dieser bereits mehrfach erfolglos Beschwerde (teilweise bis vor Bundesgericht) erhoben, andere Umstände, die bei objektiver Betrachtungsweise Zweifel an der Unvoreingenommenheit der Abgelehnten aufkommen liessen, seien weder dargetan noch ersichtlich,
dass das Obergericht hinsichtlich des Ablehnungsbegehrens gegen die Verwaltungskommission erwog, die angerufenen Ablehnungsgründe seien dem Beschwerdeführer bereits im Zeitpunkt der Stellung des Ausstandsbegehrens gegen die Mitglieder der unteren Aufsichtsbehörde bekannt gewesen, das erst nachträglich gestellte Ablehnungsbegehren gegen "die Verwaltungskommission" erweise sich daher als verspätet und damit als rechtsmissbräuchlich, ausserdem wäre auf das nachgeschobene Ablehnungsbegehren auch deshalb nicht einzutreten, weil es nicht gegen einzeln bezeichnete Gerichtspersonen, sondern pauschal gegen eine Gesamtbehörde gerichtet sei,
dass die Beschwerde nach Art. 72ff. BGG nebst einem Antrag eine Begründung zu enthalten hat, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht (Art. 95f. BGG) verletzt (Art. 42 Abs. 1 und 2 BGG), ansonst auf die Beschwerde nicht eingetreten wird (<ref-law>),
dass m.a.W. in der Beschwerdeschrift auf die Erwägungen des angefochtenen Entscheids einzugehen und im Einzelnen zu zeigen ist, welche Vorschriften und warum sie von der Vorinstanz verletzt worden sind (<ref-ruling> E. 1.4 S. 287),
dass auch Verfassungsrügen in der Beschwerdeschrift vorzubringen und zu begründen sind (<ref-law>), dass m.a.W. in der Beschwerdeschrift klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, welche verfassungsmässigen Rechte und inwiefern sie durch den kantonalen Entscheid verletzt sind (<ref-ruling> E. 3.2 S. 88 mit Hinweisen; <ref-ruling> E. 1.4 S. 287f.),
dass schliesslich in einem Fall wie dem vorliegenden, wo sich die Beschwerde gegen einen auf mehreren selbstständigen Erwägungen beruhenden Entscheid richtet, auf Grund jeder dieser Erwägungen darzulegen ist, inwiefern der angefochtene Entscheid rechts- oder verfassungswidrig sein soll (<ref-ruling> E. 6),
dass der Beschwerdeführer in seiner Eingabe an das Bundesgericht nicht rechtsgenüglich auf die entscheidenden, teilweise mehrfachen obergerichtlichen Erwägungen eingeht,
dass es insbesondere nicht genügt, die Mitglieder der Verwaltungskommission unter Hinweis auf eine frühere, ein Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wegen Aussichtslosigkeit abweisende Präsidialverfügung als befangen zu bezeichnen,
dass der Beschwerdeführer erst recht nicht nach den gesetzlichen Anforderungen anhand der obergerichtlichen Erwägungen aufzeigt, inwiefern der Beschluss des Obergerichts vom 22. November 2010 rechts- oder verfassungswidrig sein soll,
dass der Beschwerdeführer ausserdem allein zum Zweck der Verzögerung der Zwangsvollstreckung und damit missbräuchlich prozessiert (<ref-law>),
dass somit auf die - offensichtlich keine hinreichende Begründung enthaltende und überdies missbräuchliche - Beschwerde in Anwendung von Art. 108 Abs. 1 lit. b und c BGG nicht einzutreten ist,
dass dem Beschwerdeführer die unentgeltliche Rechtspflege in Anbetracht der Aussichtslosigkeit der Beschwerde nicht gewährt werden kann (<ref-law>),
dass der unterliegende Beschwerdeführer kostenpflichtig wird (<ref-law>),
dass in den Fällen des <ref-law> das vereinfachte Verfahren zum Zuge kommt und die Abteilungspräsidentin zuständig ist,

erkennt die Präsidentin:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 300.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, den Kantonen Zürich und Schwyz sowie dem Obergericht des Kantons Zürich (Verwaltungskommission) schriftlich mitgeteilt.
Lausanne, 27. Dezember 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Füllemann