Jane Asher er nest eldste barn av Richard Alan John Asher og Margaret (født Eliot). Faren var lege ved Central Middlesex Hospital, og kjent for mange, høyt verdsatte artikler om medisinske emner. Moren var professor i obo ved Guildhall School of Music and Drama. Hennes eldre bror er plateprodusenten Peter Asher (også kjent som den ene halvdelen av den berømte popduoen Peter & Gordon). Hennes yngre søster, Clare Asher, er også skuespiller, men arbeider for det meste med hørespill for radio.