Thompson var en ivrig fotballspiller og markerte seg i Oxford i sitt siste år der. Han ble involvert med Oxford University Association Football Club i mesteparten av sitt liv. Han ble formann for the Football Association (1976–1981). En tidligere FA-talsmann sa om ham at «Sir Harold was a bullying autocrat. He was a bastard. He treated the staff like shit».