Lady Gregory föddes som yngsta dotter till den anglo-iriska familjen Persse i Roxborough i County Galway. Hennes mor, Frances Barry, var släkt med , och hennes hem Roxborough, var ett gods med ägor på 24 km². Det stora huset brändes senare ned under Irländska inbördeskriget. Hon fick sin utbildning i hemmet och hennes framtida karriär påverkades mycket av familjens barnsköterska, Mary Sheridan, som var katolik och hade iriska som modersmål. Hon berättade lokala legender och historier för den unga Isabella Augusta Persse.