Nació en Cornwall-on-Hudson, una colonia de artistas de Nueva York, sus padres, Henry Budington Barnes y Elizabeth Chappel, habían estudiado violín en Inglaterra antes de casarse y se divorciaron en 1913.