Nel periodo immediatamente successivo alla fine della Seconda guerra mondiale e fino ai primi anni sessanta, Ellis è stato uno dei migliori arbitri al mondo, come testimoniano le tante manifestazioni internazionali in cui venne chiamato a partecipare. Vanta alcuni importanti record personali: è l'unico direttore di gara nella storia ad aver diretto sia la finale delle Olimpiadi del 1952, ad Helsinki, Ungheria-Jugoslavia, che la finale del Campionato europeo di calcio 1960, a Parigi, URSS-Jugoslavia.