Festningen Rothesay Castle står på en flat høyde med en bred vollgrav rundt, full av vann. Muren består av en sirkelrund murvegg kranset av fire runde tårn, noe som er uvanlig, ettersom firkantet er mer vanlig som for eksempel festning på Trim i Irland, eller den klassiske middelalderfestningen i Castletown på Man. Man kommer inn i festningen via en bro over vollgraven og gjennom porten og inn på gårdsplassen.