Mary Philbin kom fra en irsk-amerikansk familie og vokste opp som katolikk. Hun var enebarn og ble oppkalt etter sin mor, Mary. Hennes far, John Philbin, var født i Ballinrobe i County Mayo, Irland, og hadde utvandret til Amerika i 1900.