Isabella Neville ble født på Warwick Castle i Warwickshire, setet for jarlene av Warwick. Sammen med sin yngre søster Anne tilbrakte hun det meste av sin ungdom ved Warwick Castle.