Джеффри де Сэй был сыном Уильяма де Сэя и Элизабет. Он унаследовал земли отца после его смерти (не позже 1295 года). В 1310 и 1311 годах Джеффри участвовал в войне с Шотландией, 26 июля 1313 года он был впервые вызван в парламент как лорд. Это событие считается началом истории баронии Сэй.