Posteriormente, la historia de Torralba está ligada a la de sus señores, dueños de un castillo del que hoy sólo quedan unas ruinas.