F. Murray Abrahams far, Fahrid «Fred» Abraham, var assyrier fra Syria, tilhørende den syrisk-ortodokse kirke. Han emigrerte til USA på 1920-tallet under hungersnøden i hjemlandet, og arbeidet der som bilmekaniker. Hans mor, Josephine (født Stello), et av fjorten barn, født i Pennsylvania, var av italiensk opphav. Abraham vokste opp i El Paso i Texas, nær grensen til Mexico. Han skal ha vært gjengmedlem i tenårene. Abraham hadde to brødre, som ble drept i hver sin bilulykke.