Ayers es hijo del productor de la BBC Rowan Ayers, pero tras la separación de sus padres y la boda de su madre con un funcionario inglés, pasó la mayor parte de su infancia en Malasia.