Oudenaarde ble grunnlagt på venstre bredd av elven Schelde, som lenge utgjorde grensen mellom Frankrike og Det tysk-romerske rike. I 1030 bygde grev Balduin IV av Flandern en borg på dette stedet. Tårnet i Oudenaarde var ment som et motstykke til den tyske keiserens bosetning på den andre siden av elven ved Ename. På 1200-tallet ble tårnet erstattet av en større borg.