Montgomery ble født i Los Angeles i California, og var datter av skuespilleren Robert Montgomery og hans kone, Broadway-skuespillerinnen Elizabeth Daniel Bryan Montgomery (pikenavn Allen). Hun hadde en eldre søster, Martha Bryan Montgomery (oppkalt etter tanten Martha-Bryan Allen), som døde som spedbarn, og en bror, Robert Montgomery jr. (1936 - 2000). Montgomery studerte ved Westlake School for Girls (nå Harvard-Westlake School i Holmby Hills). Etter å ha blitt uteksaminert fra Spence School, studerte hun i tre år ved American Academy of Dramatic Arts.