Grace creció en Darien (Connecticut), donde conoció a la actriz Kate Bosworth y algunas veces fue cuidado por la actriz Chloë Sevigny, con la que coincidiría más tarde en la educación secundaria.