Erwägungen:
1.
Die Staatsanwaltschaft des Kantons Schwyz eröffnete am 28. November 2020 eine Strafuntersuchung gegen A._ wegen strafbarer Vorbereitungshandlungen und Schreckung der Bevölkerung. Die Kantonspolizei Schwyz nahm ihn gleichentags fest. Das Zwangsmassnahmengericht ordnete mit Verfügung vom 1. Dezember 2020 vorläufig bis am 27. Februar 2021 Untersuchungshaft an.
2.
Am 24. Dezember 2020 reichte A._ bei der Staatsanwaltschaft ein Ausstandsgesuch gegen Staatsanwalt Christian Wyss und Staatsanwältin Ines Meier ein. Die Staatsanwaltschaft überwies das Ausstandsgesuch am 28. Dezember 2020 zuständigkeitshalber dem Kantonsgericht Schwyz, welches mit Beschluss vom 5. März 2021 die Ausstandsgesuche abwies, soweit es darauf eintrat. Das Kantonsgericht führte dabei zusammenfassend aus, dass auf das Ausstandsgesuch gegen den Kantonsgerichtspräsidenten mangels eines zulässigen Ausstandsgrundes nicht einzutreten sei. Mangels ersichtlicher Ausstandsgründe sei auch auf das Ausstandsgesuch gegen Staatsanwältin Ines Meier nicht einzutreten. Bezüglich Staatsanwalt Christian Wyss seien keine Verfahrensfehler, jedenfalls keine wesentlichen und schon gar nicht solche, welche einen Ausstandsgrund zu begründen vermöchten, ersichtlich. Das Ausstandsgesuch sei daher abzuweisen.
3.
Am 18. März 2021 stellte A._ ein Gesuch um Erstreckung der Beschwerdefrist beim Bundesgericht. Dieses teilte ihm mit Schreiben vom 23. März 2021 mit, dass die Beschwerdefrist als eine gesetzlich bestimmte Frist nicht erstreckt werden könne (Art. 47 Abs. 1 BGG). Mit Eingabe vom 20. April 2021 erhob A._ Beschwerde in Strafsachen gegen den Beschluss des Kantonsgerichts Schwyz vom 5. März 2021. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen.
4.
Nach Art. 42 Abs. 2 BGG ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von Art. 95 ff. BGG nennen die vor Bundesgericht zulässigen Beschwerdegründe. Hinsichtlich der Verletzung von Grundrechten gilt der in Art. 106 Abs. 1 BGG verankerte Grundsatz der Rechtsanwendung von Amtes wegen nicht; insofern besteht eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; BGE 136 I 49 E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68 mit Hinweisen). Es obliegt dem Beschwerdeführer namentlich darzulegen, inwiefern der angefochtene Entscheid gegen Grundrechte verstossen soll.
Der Beschwerdeführer setzt sich, wenn überhaupt, nicht rechtsgenüglich mit der Begründung des Kantonsgerichts auseinander. Mit der hauptsächlichen Darstellung seiner Sicht der Dinge vermag er nicht konkret und im Einzelnen aufzuzeigen, dass das Kantonsgericht seine Ausstandsgesuche rechtswidrig behandelt hätte. Aus seinen Ausführungen ergibt sich nicht verständlich, inwiefern die Begründung des Kantonsgerichts bzw. dessen Beschluss selbst rechts- bzw. verfassungswidrig sein soll. Die Beschwerde genügt den gesetzlichen Formerfordernissen offensichtlich nicht, weshalb auf sie im vereinfachten Verfahren nach Art. 108 Abs. 1 BGG nicht einzutreten ist.
5.
Angesichts der Aussichtslosigkeit des Verfahrens ist dem Gesuch um unentgeltliche Rechtspflege nicht zu entsprechen (Art. 64 BGG). Indessen ist davon abzusehen, für das bundesgerichtliche Verfahren Kosten zu erheben (Art. 66 Abs. 1 BGG)
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Es werden keine Kosten erhoben.
4.
Dieses Urteil wird den Parteien, dem Kantonsgericht Schwyz, Beschwerdekammer, und Rechtsanwältin B._ schriftlich mitgeteilt.
Lausanne, 30. April 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Chaix
Der Gerichtsschreiber: Pfäffli