Медина-дель-Кампо
В 1566 году Фадрике обещал жениться на Магдалене де Гусман, придворной даме испанской королевы Анны Австрийской, но отказался от своего обещания. В ответ по королевскому приказу он был арестован и заключен в тюрьму в (город Медина-дель-Кампо, провинция Вальядолид). Магдалена де Гусман была заключена в монастырь Санта-Фе в Толедо. В следующем году он был освобожден из заключения в обмен за трехлетнюю военную службу в испанской крепости Оран в Алжире. Но в апреле 1568 года король Испании повелел Фадрике Альваресу де Толедо служить под командованием своего отца, герцога Альбы, назначенного наместником в Испанских Нидерландах.