Silverstone nació en San Francisco, California, hija de padres británicos Deirdre "Didi" (née Radford), una ex-asistente de vuelo de Pan Am escocesa, y Monty Silverstone, un agente de bienes raíces inglés.