Su familia directa también estaba al servicio de los monarcas ya que su padre, Juan Velázquez, era copero real; su hermana Juana de la Torre, ama de cría del príncipe heredero Juan (1478-1497), y su hermano Pedro de Torres secretario del mismo príncipe.