Sein Vater hatte bereits aus seiner ersten Ehe einen Sohn, Henry of Almain, der vierzehn Jahre älter als Edmund und als Erbe seines Vaters vorgesehen war. Über Edmunds Kindheit ist deshalb nur wenig bekannt, und bis 1269 besaß er nur das Gut "Alderley" in Gloucestershire. 1257 begleitete Edmund seinen Vater und seine Mutter nach Deutschland, nachdem sein Vater zum römisch-deutschen König gewählt worden war. 1259 kehrte die Familie nach England zurück. Nachdem sein Vater während des Zweiten Kriegs der Barone 1264 in der Schlacht von Lewes in die Gefangenschaft der rebellierenden Barone geraten war, wurde auch Edmund gefangen genommen und zusammen mit seinem Vater in Kenilworth Castle inhaftiert. Erst nach dem Sieg der Partei des Königs in der Schlacht von Evesham wurden sein Vater und er im September 1265 von Simon VI. de Montfort freigelassen. Von August 1268 bis August 1269 begleitete er seinen Vater erneut nach Deutschland.