Nel 1082 si ha la prima menzione di una fortezza ad Auray. Nel 1201 il duca di Bretagna Arturo I fa erigere un castello in pietra. Con la battaglia di Auray del 1364 si ha la fine della Guerra di successione bretone. Nel 1464 il ponte di Goustan viene restaurato e da allora chiamato come ponte nuovo. Nel 1560 il castello viene demolito e ad oggi ne rimangono solo pochi resti. La prima linea ferroviaria giunge ad Auray nel 1862.