Замок начал строить в 1435 году Уильям ап Томас, женившийся в 1406 году на наследнице Раглана — Элизабет Блоэ. Он воздвиг главную башню, прозванную «Желтой». Большую часть построек возвели при жизни его сына, Уильяма Герберта, первого графа Пембрука. В замке провёл детство Генрих VII, находившийся под опекой Уильяма Герберта во время войны Роз.