Han er sønn av legen Richard Asher og hustru Margaret (født Eliot), eldre bror av skuespillerinnen og forretningskvinnen Jane Asher og av skuespillerinnen Clare Asher, som mest er kjent gjennom sine roller i hørespill for BBC radio. Som elev på Westminster Boys’ School i London møtte han i 1959 på den ett år yngre legesønnen, Gordon Waller (1945–2009). Sammen med en tredje kamerat dannet de en trio som spilte på kaffebarer og skoletilstelninger.