Cazalet trat bei den Olympischen Spielen 1908 in London in der Doppelkonkurrenz mit Charles Dixon an. Im Halbfinale unterlagen sie in fünf Sätzen den späteren Olympiasiegern George Hillyard und Reginald Doherty und gewannen somit Bronze. Sein Cousin William Cazalet nahm 1908 ebenfalls an den Olympischen Spielen im Jeu de Paume teil.