Par ces motifs, la Présidente de la Ire Cour de droit civil prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour administrative du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 juin 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : O. Carruzzo