安托万随后的外遇，表明他并不对胡安娜忠诚。自1512起纳瓦拉王国的南部领土已经全被西班牙人佔领，安托万试图重新建立纳瓦拉王国并准备牺牲一切，达到他的政治利益。安托万似乎没有真正的宗教信念，徘徊于新教与旧教之间，并正式退教又改宗过好几次。1561年他从新教结盟宗转回天主教令夫妻分离，他更威胁要与胡安娜三世断绝夫妻关系；他又强迫让儿子亨利改信天主教。他与情妇露易丝生了一个儿子、后来成为鲁昂大主教的夏尔（1554年至1610年）。虽然他的弟弟孔代亲王路易一世已成为结盟宗新教徒的首领，但是安托万却至死仍为法