Han var sønn av skuespillerne Georgiana Drew Barrymore og Maurice Barrymore (født Herbert Arthur Chamberlayne Blythe). Han gikk på privatskoler som barn, blant annet på Art Students League of New York. Han ble oppdratt som katolikk, men gikk først på Episcopal Academy i Philadelphia. Så gikk han senere på den katolske , årgangsklassen 1891.