Теперь Батлер принадлежал к высшей аристократии Англии и был одним из самых влиятельных людей Ирландии. Однако в 1330 году Эдуард III сверг и казнил Мортимера, после чего положение Джеймса снова оказалось под угрозой. В 1332 году, после конфликта с королевским судьёй Энтони Люси, граф Ормонд приехал в Англию и направил Эдуарду III ряд прошений, в которых напоминал о своих личных заслугах, о связях с королевским домом и о древности своего рода. В конце концов Эдуард закрепил за Батлером его земли и должность главного виночерпия, а также наградил его крупной денежной суммой. В 1335 году граф принял участие в шотландском походе во главе большого отряда в 318 человек; это увеличило расположение к нему со стороны короля.