阿宰勒里多城堡原址是一座12世纪建造的军事堡垒，阿馬尼亞克派與勃艮第派內戰期间被毁。1518年，图尔市长、国王财务官吉勒斯·贝特洛（Gilles Berthelot）买下城堡遗址，将其改建成自己的住宅。但由于贝特洛政务繁忙，城堡建筑工程由他的妻子菲利帕（Philippa Lesbahy）监督完成，由于施工材料和地形问题，工程耗时极久。1527年贝特洛家族卷入政治问题，贝特洛逃离法国。弗朗索瓦一世没收了还没完工的城堡，在1535年将其赐给他的近臣安东·拉芬（Antoine Raffin）。但拉芬也没把城堡盖完，所以城堡至今仍保留着L型的构造。