Sachverhalt:
A.
In einem Rechtsöffnungsverfahren setzte das Bezirksgericht Zürich dem Schuldner und rubrizierten Beschwerdeführer Frist an zur Vernehmlassung zum Rechtsöffnungsgesuch. Darauf beantragte dieser den Ausstand der verfahrensleitenden Bezirksrichterin B._ wegen Befangenheit.
Im Ausstandsverfahren beantragte diese mit Schreiben vom 10. August 2021 die Abweisung des Ausstandsgesuches. Nachdem der Beschwerdeführer nichts mehr von sich hatte hören lassen, wies das Bezirksgericht Zürich das Ausstandsgesuch mit Entscheid vom 6. September 2021 ab.
B.
Dagegen erhob dieser Beschwerde beim Obergericht des Kantons Zürich mit den Begehren, der Entscheid sei aufzuheben und Bezirksrichterin B._ habe in den Ausstand zu treten. Mit Verfügung vom 6. Oktober 2021 setzte Oberrichter C._ dem Beschwerdeführer Frist zur Verbesserung der ungebührlichen Beschwerdeschrift. Am 28. Oktober 2021 teilte dieser mit, er halte vollumfänglich an seiner Beschwerdeschrift fest; zugleich verlangte er den Ausstand von Oberrichter C._.
Mit Kammerentscheid vom 5. November 2021, an welchem Oberrichter C._ nicht mitwirkte, erachtete das Obergericht das Ausstandsgesuch gegen diesen als gegenstandslos; im Übrigen trat es auf die Beschwerde nicht ein mit der Begründung, die Beschwerdeschrift vom 24. September 2021 sei ungebührlich und die Konsequenzen seien dem Beschwerdeführer bereits in der Verfügung vom 6. Oktober 2021 angedroht worden.
C.
Gegen diesen Beschluss wendet sich der Beschwerdeführer mit Eingabe vom 26. November 2021 an das Bundesgericht mit den Begehren, es sei ihm die unentgeltliche Rechtspflege und ein unentgeltlicher Rechtsbeistand zu gewähren, im Anschluss sei dem Anwalt Frist zur Ausformulierung eines erweiterten Schriftsatzes einzuräumen, der Beschluss des Obergerichts sei aufzuheben und dem Ausstandsbegehren gegen Bezirksrichterin B._ sei zu entsprechen.
Sodann hat das Obergericht dem Bundesgericht eine vom Beschwerdeführer beim Obergericht eingereichte Eingabe vom 26. November 2021 mit dem Titel "Ausstandsbegehren und Aufsichtsbeschwerde" weitergeleitet.

Erwägungen:
1.
Das Bundesgericht vermittelt keine Rechtsanwälte (zur Abweisung des Gesuches um unentgeltliche Rechtspflege und Verbeiständung siehe im Übrigen E. 5) und es kann auch keine Rechtsmittelfristen ansetzen; bei der Beschwerdefrist handelt es sich um eine gesetzliche Frist, deren Beginn und Ende von <ref-law> umschrieben wird und die gemäss <ref-law> nicht erstreckbar ist.
2.
Der angefochtene Beschluss betrifft einen selbständig eröffneten, kantonal letztinstanzlichen (<ref-law>) Zwischenentscheid über ein Ausstandsbegehren (<ref-law>). Bei Zwischenentscheiden folgt der Rechtsweg jenem der Hauptsache (<ref-ruling> E. 1.1 S. 382). Dabei handelt es sich um ein Rechtsöffnungsverfahren mit einem Streitwert von weniger als Fr. 30'000.--. Die Beschwerde in Zivilsachen steht somit nicht offen (<ref-law>), sondern vielmehr die subsidiäre Verfassungsbeschwerde (<ref-law>). Mit dieser kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Dies hat vorliegend insofern keine entscheidende Tragweite, als der sich aus <ref-law> ergebende Anspruch auf einen unparteiischen Richter mit der Umschreibung der Befangenheitsgründe in den anwendbaren Prozessordnungen deckt.
Zu beachten ist allerdings, dass die Vorinstanz auf das Rechtsmittel des Beschwerdeführers nicht eingetreten ist. Streitgegenstand des bundesgerichtlichen Verfahrens kann deshalb grundsätzlich nur die Frage bilden, ob die Vorinstanz zu Recht einen Nichteintretensentscheid gefällt hat (<ref-ruling> E. 1.2 S. 41; <ref-ruling> E. 3.2 S. 235). Darauf haben sich die Verfassungsrügen zu beziehen.
Zu den Nichteintretenserwägungen äussert sich der Beschwerdeführer mit keinem Wort, weshalb die Beschwerde - soweit sie sich auf den Ausstand der erstinstanzlichen Richterin bzw. die materielle Beurteilung dieser Frage durch das Obergericht bezieht - bereits daran scheitert. Indes wird auch die Befangenheit von Oberrichtern geltend gemacht; hierzu ist im Folgenden Stellung zu nehmen.
3.
Soweit sich die Ausführungen auf Oberrichter C._ beziehen und sinngemäss festgehalten wird, der im obergerichtlichen Verfahren gemachte Vergleich zwischen SVP-Mitgliedern und Mitgliedern des Ku-Klux-Klans oder der NSDAP treffe zu, ist die Beschwerde insoweit ohne Gegenstand, als Oberrichter C._ nach den expliziten Erwägungen nicht am angefochtenen Entscheid mitgewirkt hat und denn auch nicht im Rubrum erscheint. Wenn schon wäre aufzuzeigen, inwiefern verfassungsmässige Rechte verletzt sein sollen, wenn demzufolge das betreffende Ausstandsgesuch im angefochtenen Entscheid als gegenstandslos bezeichnet wurde.
Soweit der Beschwerdeführer - unter Erwähnung der Gräueltaten der NSDAP und der Behauptung, die Situation in der Schweiz gleiche derjenigen in Deutschland 1933 - vorbringt, es gehe nicht an, dass mit Oberrichterin D._ wiederum eine SVP-Richterin über den Ausstand der erstinstanzlichen SVP-Richterin befunden habe, übergeht er die Tatsache, dass das Obergericht seinen Entscheid in Dreierbesetzung gefällt hat. Im Übrigen macht der Beschwerdeführer keinerlei Verfassungsverletzungen geltend und weist gegenteils selbst darauf hin, dass die Parteizugehörigkeit für sich genommen rechtsprechungsgemäss keinen Ausstandsgrund bildet. Daran vermöchte, selbst wenn es im Rahmen einer Verfassungsrüge erhoben worden wäre, das Vorbringen, die Entwicklung in den letzten Jahren, wie SVP-Richter in Verfahren von Ausländern entscheiden würden, lege eine Neubeurteilung nahe, nichts zu ändern, zumal es vorliegend nicht um Ausländerrecht, sondern um ein Pfändungsverfahren geht und ein irgendwie gearteter Zusammenhang mit der Parteizugehörigkeit der urteilenden Richter von vornherein nicht ersichtlich wäre.
In der vom Obergericht weitergeleiteten "Aufsichtsbeschwerde" fordert der Beschwerdeführer ebenfalls den Ausstand von Oberrichterin D._. Er spricht in allgemeiner Weise von Vetternwirtschaft und einem korrupten Rechtssystem, wenn SVP-Richter über den Ausstand von SVP-Richtern entscheiden würden. Ferner wiederholt er seine Ansicht, dass die SVP eindeutig eine rassistische Gruppierung sei und Volksverhetzung sowie puren Rassismus betreibe; ihre Richter seien insbesondere in Migrationsverfahren befangen, weil die Partei auf sie massiven Druck ausübe. Sodann wird erneut eine Verbindung zwischen SVP und NSDAP gezogen. In Bezug auf diese weitergeleitete Eingabe gilt das vorstehend Gesagte: Es werden keinerlei Verfassungsrügen erhoben, weshalb die Eingabe bereits daran scheitert; im Übrigen ist der angefochtene Entscheid nicht von Oberrichterin D._ erlassen worden, sondern als Kammerentscheid in Dreierbesetzung ergangen, und abgesehen davon ist kein irgendwie gearteteter Zusammenhang zwischen Parteizugehörigkeit und Verfahrensgegenstand ersichtlich, welcher die Ausstandsfrage auch nur entfernt aufkommen lassen könnte.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit überhaupt auf sie eingetreten werden kann.
5.
Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist.
6.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 7. Dezember 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Möckli