Barrymore fue el hermano mayor de Ethel y John Barrymore, y sus padres fueron Maurice Barrymore y Georgiana Drew.