Navnet på stedet er avledet fra et brytonisk (keltisk) ord i betydningen «elven til smedene», og er en henvisning til byens førromerske betydning i jernframstilling. Navnet er beslektet til det moderne walisiske ordet , «smed», og er også knyttet til den legendariske smeden Gofannon i walisisk folkeminne. Elvens navn ble senere kalt på walisisk, og byens navn ble Abergavenny i betydningen «munningen (walisisk: ) til Gavenny ()». I walisisk kan den forkortede formen ha kommet i bruk i en meget kort periode på 1400-tallet, skjønt uttalt tilsvarende i engelsk og walisisk er den engelske stavingen Abergavenny vanlig i bruk.