Sachverhalt:
In einem Zivilverfahren wegen Persönlichkeitsverletzung und Widerhandlungen gegen das UWG lehnte der dortige Beklagte und rubrizierte Beschwerdeführer den Bezirksrichter unter Verweis eines Berichtes des Tagesanzeigers aus den 80er Jahren über dessen Vater ab mit der Begründung, mit diesem familiären Hintergrund stehe ihm die Kompetenz eines Richters mutmasslich nicht zu.
Gegen den das Ausstandsgesuch abweisenden erstinstanzlichen Entscheid erhob er eine Beschwerde, auf welche das Kantonsgericht Schwyz mit Entscheid vom 5. April 2019 nicht eintrat.
Dagegen erhob er am 30. April 2019 beim Bundesgericht eine Beschwerde. Ferner verlangt er die unentgeltliche Rechtspflege.

Erwägungen:
1.
Die Beschwerde hat eine Begründung zu enthalten, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>), was eine Auseinandersetzung mit der Begründung des angefochtenen Entscheides erfordert (<ref-ruling> E. 2 S. 116).
2.
Das Kantonsgericht ist auf die Beschwerde nicht eingetreten, weil sich der Beschwerdeführer mit der erstinstanzlichen Begründung ungenügend auseinandergesetzt und wie im erstinstanzlichen Verfahren nicht einmal den Ausstandsgrund bezeichnet habe. Im Übrigen räume er selbst ein, dass Sippenhaft abgeschafft und kein Ausstandsgrund sei.
Der Beschwerdeführer legt nicht dar, inwiefern das Kantonsgericht mit seinen Nichteintretenserwägungen gegen Recht verstossen haben soll. Vielmehr äussert er sich direkt in der Sache selbst, aber selbst dies nur diffus, indem er aus einer 30 Jahre zurückliegenden Berichterstattung über den Vater des erstinstanzlich zuständigen Richters sowie daraus, dass dieser in anderen Verfahren zuungunsten von diversen Bekannten entschieden habe, so dass jetzt ihm selbst das gleiche Schicksal drohe, eine Befangenheit ableiten möchte. Inwiefern dies einen Ausstandsgrund bilden könnte, ist nicht ersichtlich; ein solcher liegt grundsätzlich nicht einmal dann vor, wenn der betreffende Richter in einem früheren Verfahren zuungunsten des Beschwerdeführers selbst entschieden hätte (<ref-ruling> E. 4.2.2.2 S. 466 f.; <ref-ruling> E. 3 S. 74). Ausschlaggebend ist indes, dass sich der Beschwerdeführer nicht zu den Nichteintretenserwägungen äussert; bereits daran scheitert die Beschwerde.
3.
Nach dem Gesagten erweist sich die Beschwerde als offensichtlich nicht hinreichend begründet, weshalb auf sie nicht eingetreten werden kann und der Präsident im vereinfachten Verfahren entscheidet (<ref-law>).
4.
Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist.
5.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, Vizepräsidentin, schriftlich mitgeteilt.
Lausanne, 3. Mai 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli