Gravearbeidene rundt Conwy Castle startet få dager etter at Edvard hadde bestemt at slottet skulle bygges. Arbeidet foregikk under Sir John Bonvillars kontroll og ble ledet av murmester James of St. George, og i den første fasen mellom 1283 og 1284 ble det fokusert på å bygge de ytre murene og tårnene. I den andre fasen, fra 1284 og 1286, ble bygningene inne i borgen oppført, samtidig som arbeidet med murene rundt byen startet. Borgen var ferdig i 1287. Bygningsledelsen rekrutterte et stort antall arbeidere fra hele England til oppdraget. Ved starten av byggesesongen om hver sommer, samlet arbeiderne seg i Chester og gikk inn i Wales. Edvards regnskapsførere skilte ikke ut kostnadene for bymuren fra kostnadene for borgen, men den totale kostnaden for de to prosjektene kom på rundt £15,000, som var en enorm sum på den tiden.