FLOW CONTROL USING THE THEORY OF ZERO SUM MARKOV GAMES Eitan ALTMAN ? INRIA Centre Sophia Antipolis 06565 Valbonne Cedex , France altman@martingale.inria.fr, tel. 93 65 76 73 January 1992 Abstract We consider the problem of dynamic flow control of arriving packets into an infinite buffer . The service rate may depend on the state of the system , may change in time and is unknown to the controller . The goal of the controller is to design an efficient policy which guarantees the best performance under the worst case service conditions . The cost is composed of a holding cost , a cost for rejecting customers -LRB- packets -RRB- and a cost that depends on the quality of the service . The problem is studied in the framework of zero-sum Markov games , and a value iteration algorithm is used to solve it . We show that there exists an optimal stationary policy -LRB- such that the decisions depend only on the actual number of customers in the queue -RRB- ; it is of a threshold type , and it uses randomization in at most one state . 1 Introduction Game theoretical methods seem to be quite promising in the control of queueing systems in general and Telecommunication systems in particular . In the latter , one often encounters situations where ? The work of this author was supported by the Chateaubriand fellowship from the french embassy in Israel different users may have different objectives . Typically , each user would like to optimize some performance measures related to his traffic , such as minimizing delays , maximizing his throughput and minimizing blocking probabilities . The situation of game arrizes when the different users can not coordinate their actions , and the problem can not be reduced to a single controller case . This may happen either because the control is decentralized due to the nature of the network , or simply because any user may be tempted to benefit on the expense of the others by choosing an individual good policy . There has been some work in applying game theory to control of queueing networks and control in telecommunications . Among these are several papers that consider static control problems and thus use static games : Marchand -LSB- 8 -RSB- considers optimal input control to a queueing system ; Hsiao and Lazar -LSB- 4 -RSB- , Douligeris and Mazumdar -LSB- 1 , 2 , 3 -RSB- , Mazumadar , Mason and Douligeris -LSB- 11 -RSB- consider the problem of optimal flow control in a multiclass telecommunications environment ; Mason and Girard -LSB- 9 , 10 -RSB- consider routing models ; Shenker -LSB- 12 -RSB- studies the problem of optimal service allocation to several users . Kalai and Zemel -LSB- 5 -RSB- consider a problem in networks that yield a cooperative game . The main aim of this paper is to show how methods based on Markov games -LRB- also known as stochastic games -RRB- may be applied to dynamic control in queueing networks . Two types of problems may require game theoretical solution methods . The first is control under worst case criterion . Any user , say user A , regards all the other users as one super-user . The aim of A is to guarantee the best performance under the worst case behavior of the super-user . This kind of problems may be solved using zero-sum Markov games . The second type of problems is when the users try to find strategies that leads to Nash equilibrium . In that case every user has some strategy -LRB- which may be more profitable than the one obtained from the worst-case criterion -RRB- and no user can profit by deviating from his strategy unilaterally . In this paper we focus on a problem of the first kind . We consider one user who controls dynamically the flow of arriving packets into an infinite buffer . The presence of other users as well as congrstion phenomena is modeled by allowing the service rate to depend on the state of the system , and to change in time in a way that is unknown to the controller . The goal of the controller is to design an efficient policy which guarantees the best performance under the worst case service conditions . The cost is composed of a holding cost , a cost for rejecting customers and a cost that depends on the quality of the service . A value iteration algorithm is used to solve this problem in the framework of stochastic zero-sum game . We show that there exists an optimal stationary policy -LRB- such that the decisions depend only on the actual number of customers in the queue -RRB- ; it is of a threshold type , and it uses randomization in at most one state . The structure of the paper is as follows : in Section 2 we describe the model . Then basic tools for solving the problem are described in Section 3 , and the optimal policy is derived in Section 4 . 2 The Model Considered is a discrete-time single-server queue with an infinite buffer . We assume that at most one customer may join the system in a time slot . This arrival -LRB- if any -RRB- is assumed to occur at the beginning of the time slot -LRB- synchronized arrivals -RRB- . At the beginning of each time slot , the flow control mechanism , called player 2 , chooses in the set A : = fa1 ; a2g , < = a2 < = a1 < = 1 , the probability of having one arrival in this time slot . Therefore , if action ai is chosen at time t then a customer will enter the system in -LSB- t ; t + 1 -RRB- with the probability ai , i = 1 ; 2 . At the end of each slot , a successful service of a customer occurs , if the queue is not empty , with probability b 2 B = fb1 ; b2g , where b1 > = b2 . -LRB- If the service fails the customer remains in the queue -RRB- . The value of b , which may represent the quality of service , may change in each time slot , and is not known to player 2 . The objective of player 2 , to be described below , is to find a best strategy under the worst case service conditions . We model the system as a zero-sum Markov game , where player 1 controls the service quality . Actions a and b are assumed to be taken independently , based on the information on the current state as well as the information of all past states and actions of both players . We assume that a customer that enters an empty system may leave the system -LRB- with the probability b -RRB- at the end of this same time slot . Let Xt denote the number of customers in the system at time t , t 2 IN , and At and Bt denote the actions of players 2 and 1 respectively . The state space is denoted by X = f0 ; 1 ; : : : g. Let M -LRB- Y -RRB- be the set of probability measures on a set Y . The transition law q is : q -LRB- y j x ; a ; b -RRB- : = 8 > > > > > < > > > > > : ? ab ; if x > = 1 , y = x ? 1 ; ab + ? a?b ; if x > = 1 , y = x ; a?b ; if x > = 1 , y = x + 1 ; 1 ? a?b ; if y = x = 0 ; a?b ; if x = 0 , y = 1 ; -LRB- for any number ? 2 -LSB- 0 ; 1 -RSB- , ?? : = 1 ? ? -RRB- . We define an immediate payoff C -LRB- x ; b ; a -RRB- : = c -LRB- x -RRB- + a + ? b ; -LRB- 2:1 -RRB- for all x 2 X , a 2 A and b 2 B. C -LRB- x ; b ; a -RRB- is the cost that player 2 pays to player 1 when the state is x , and the actions of the players are b and a. C generalizes a cost frequently encountered in the literature on flow control models . In -LRB- 2.1 -RRB- c -LRB- x -RRB- is any real-valued nondecreasing convex function on IN and and ? are arbitrary real constants . We shall assume that c is nonnegative -LRB- i.e. , if c -LRB- 0 -RRB- > = 0 -RRB- and it is upper bounded by some polynome ; < = and ? > = 0 . c -LRB- x -RRB- can be interpreted as a holding cost per unit time , a as a reward related to the acceptance of incoming customer , and ? as a cost per quality of service . Let u be the policy of player 1 and v be the policy of player 2 . Let ? be fixed number in -LSB- 0 ; 1 -RRB- . Define V ? -LRB- x ; u ; v -RRB- : = Eu ; v '' 1 X t = 0 ? t C -LRB- Xt ; Bt ; At -RRB- j X0 = x # ; -LRB- 2:2 -RRB- Define the following problem -LRB- Q ? -RRB- : Find u ; v that achieve V ? -LRB- x -RRB- : = sup u2U inf v2V V ? -LRB- x ; u ; v -RRB- ; 8x 2 X : -LRB- 2:3 -RRB- We know from Wessels -LSB- 13 -RSB- that there exists a pair of stationary policies -LRB- u ? ; v ? -RRB- that achieves -LRB- 2.3 -RRB- , and sup u2U inf v2V V ? -LRB- x ; u ; v -RRB- = inf v2V sup u2U V ? -LRB- x ; u ; v -RRB- = V ? -LRB- x ; u ? ; v ? -RRB- : V ? -LRB- x -RRB- is called the ? - discounted value of the game , and the policies -LRB- u ? ; v ? -RRB- are called the optimal policies . For a pair of stationary policies -LRB- u ; v -RRB- let ux = fux -LRB- 1 -RRB- ; ux -LRB- 2 -RRB- g 2 M -LRB- B -RRB- , where ux -LRB- i -RRB- is the probability of choosing bi ; and vx = fvx -LRB- 1 -RRB- ; vx -LRB- 2 -RRB- g 2 M -LRB- A -RRB- , where vx -LRB- i -RRB- is the probability of choosing ai , when -LRB- u ; v -RRB- are used at state x . It can be shown that the problem Q ? becomes trivial when > = 0 . In that case , the optimal action of player 2 is always to choose a2 . Similarly , if ? < = then it is optimal for player 1 always to choose b2 . 3 Preliminary Results Let K be the set of all real-valued functions on X that are polynomially bounded . Let the operator R : X ? f1 ; 2g ? f1 ; 2g ? K ! IR be defined as R -LRB- x ; i ; j ; f -RRB- = E -LSB- f -LRB- Xt +1 jXt = x ; Bt = i ; At = j -RSB- we get : R -LRB- 0 ; i ; j ; f -RRB- : = -LRB- 1 ? aj?bi -RRB- f -LRB- 0 -RRB- + aj?bif -LRB- 1 -RRB- ; -LRB- 3.1 -RRB- R -LRB- x ; i ; j ; f -RRB- : = ? aj bif -LRB- x ? 1 -RRB- + -LRB- ajbi + ? aj?bi -RRB- f -LRB- x -RRB- + aj?bif -LRB- x + 1 -RRB- ; x > = 1 : -LRB- 3.2 -RRB- Define the operator S : X ? f1 ; 2g ? f1 ; 2g ? K ! IR as S -LRB- x ; i ; j ; f -RRB- : = C -LRB- x ; bi ; aj -RRB- + ? R -LRB- x ; i ; j ; f -RRB- and let S -LRB- x ; f -RRB- denote the matrix whose entries are S -LRB- x ; i ; j ; f -RRB- . For any function D : A?B ! IR , 2 M -LRB- A -RRB- and 2 M -LRB- B -RRB- define D : = 2 X i = 1 2 X j = 1 i jD -LRB- bi ; aj -RRB- The value of the \ matrix game D '' is defined as val -LRB- D -RRB- : = inf 2M -LRB- A -RRB- sup 2M -LRB- B -RRB- D and is known to satisfy val -LRB- D -RRB- = sup 2M -LRB- B -RRB- inf 2M -LRB- A -RRB- D . Let T ? : K ! K be the DP operator associated with Q ? : T?f -LRB- x -RRB- : = val S -LRB- x ; f -RRB- ; -LRB- 3:3 -RRB- for x 2 IN . We shall use the following tools for solving Q ? : Proposition 3.1 -LRB- i -RRB- V ? satisfies V ? -LRB- x -RRB- = T?V ? -LRB- x -RRB- -LRB- 3:4 -RRB- -LRB- ii -RRB- Let -LRB- u ? ; v ? -RRB- be the stationary policies of player 1 and 2 respectively that achieve the sup and the inf in the matrix game T?V ? in -LRB- 3.4 -RRB- . Then -LRB- u ? ; v ? -RRB- are optimal for Q ? . -LRB- iii -RRB- For every f 2 K lim n ! 1 Tn ? f = V ? ; -LRB- 3:5 -RRB- Proof . The theorem follows from Wessels -LSB- 13 -RSB- -RRB- . We show below that the contraction assumptions there are indeed satisfied . We begin by establishing Assumption 2.1 , which says that there exists some bounding function ?? 1 -LRB- x -RRB- > under which ? R -LRB- x ; i ; j ; ?? 1 -RRB- is a contraction for all x ; i ; j , i.e. there exists some , < < 1 such that ? jR -LRB- x ; i ; j ; ?? 1 -RRB- j < = ff ?? 1 -LRB- x -RRB- ; 8x ; i ; j -LRB- 3:6 -RRB- Fix some a 2 A ; b 2 B. Define ? : = 1 ? ?? 1 and let r : = ?? 1 ? ab ? ? a?b + q -LRB- ab + ? a?b ? ?? 1 -RRB- 2 ? 4a ? b?ab 2a ? b : This choice of r corresponds to a solution of ? R -LRB- x ; i ; j ; rx -RRB- = rx , or equivalently , a?br2 + -LRB- ab + ? a?b ? ?? 1 -RRB- r + a?b = : -LRB- 3:7 -RRB- We have ? > and hence r > 1 . Indeed , r = ? + ? ab + a?b + q -LRB- ? ab ? a?b -RRB- 2 + ? 2 + 2 ? -LRB- a?b + ? ab -RRB- 2a ? b > = 2 ? + ? ab + a?b + j?ab ? a?bj 2a ? b > 1 -LRB- 3:8 -RRB- Choose some mumber > such that 1 < ffr , and define the function ? -LRB- x -RRB- : = -LRB- ffr -RRB- ? x . It follows from -LRB- 3.7 -RRB- that ? -LRB- x -RRB- satisfies the following : ? R -LRB- x ; i ; j ; ?? 1 -RRB- -LRB- x -RRB- ? ff ?? 1 -LRB- x -RRB- = 8 > < > : ? a?b -LRB- ffr -RRB- 2 + -LRB- ab + ? a?b ? ?? 1 -RRB- -LRB- ffr -RRB- + a?b ? ? -LRB- ffr -RRB- x ? 1 < ; x > ? a?b -LRB- ffr -RRB- 2 + -LRB- 1 ? a?b ? ?? 1 -RRB- -LRB- ffr -RRB- ? ? -LRB- ffr -RRB- ? 1 < = ? a?b -LRB- ffr -RRB- 2 + -LRB- ab + ? a?b ? ?? 1 -RRB- -LRB- ffr -RRB- + a?b ? ? -LRB- ffr -RRB- ? 1 < ; x = which establishes Assumption 2.1 in Wessels -LSB- 13 -RSB- . Next we show that Assumption 2.2 holds too . The assumption states that the cost function is finite under the norm induced by the bounding function ? . More precisely , we need to show that sup x ; b ; a fjC -LRB- x ; b ; a -RRB- j ? -LRB- x -RRB- g < 1 The latter indeed follows from the fact that c -LRB- x -RRB- is polinomially bounded whereas ?? 1 -LRB- x -RRB- grows exponentially fast -LRB- since ffr > 1 -RRB- . This establishes Assumption 2.2 . The Theorem finally follows from from Wessels -LSB- 13 -RSB- Theorem 3.1 and Section 4 there . 4 The Optimal Policy Proposition 3.1 is the main tool to establish the structure of the optimal policy , given in Theorem 4.2 below . It is used in the following way . We first guess the structure of an optimal stationary policy . We then identify sufficient conditions that V ? should possess in order to ensure this structure of the optimal policy ; the connection between the optimal policy and V ? is given in Proposition 3.1 -LRB- ii -RRB- . We then use the \ value iteration '' technique , based on Proposition 3.1 -LRB- iii -RRB- to show that V ? indeed possess the required properties . This is done iteratively : we show that there exists some function f that possesses them . Then we show that if a function f has these properties then so does T?f , and hence also Tn ? f for all n 2 IN . Finally we show that the latter implies also that the limit as n goes to infinity also possesses these properties , and hence by Proposition 3.1 -LRB- iii -RRB- V ? possesses the properties as well . We begin the analysis by listing some properties that a function may possess . Properties MO and IC bellow are shown in Theorem 4.1 to be sufficient for the optimal policy to have a threshold structure . In order to establish these two properties , we need however to introduce six other properties , which are used to prove that if a function f satisfies MO and IC then so does T?f . We shall say that f : X ? f1 ; 2g ? f1 ; 2g ! IR satisfies assumption : 7 J1 if f -LRB- x ; i ; 2 -RRB- ? f -LRB- x ; i ; 1 -RRB- is monotone nonincreasing in x for i = 1 ; 2 . J2 if f -LRB- x ; 2 ; j -RRB- ? f -LRB- x ; 1 ; j -RRB- is monotone nondecreasing in x for i = 1 ; 2 . J3 if f -LRB- x ; 1 ; 1 -RRB- ? f -LRB- x ; 2 ; 1 -RRB- < = f -LRB- x ; 1 ; 2 -RRB- ? f -LRB- x ; 2 ; 2 -RRB- for x 2 X. J4 if f -LRB- x + 1 ; 2 ; 1 -RRB- ? f -LRB- x + 1 ; 2 ; 2 -RRB- < = f -LRB- x ; 1 ; 1 -RRB- ? f -LRB- x ; 1 ; 2 -RRB- for x 2 X. J5 if f -LRB- x + 1 ; 1 ; 2 -RRB- ? f -LRB- x + 1 ; 2 ; 2 -RRB- < = f -LRB- x ; 1 ; 1 -RRB- ? f -LRB- x ; 2 ; 1 -RRB- for x 2 X. J6 if f -LRB- x + 2 ; i ; 2 -RRB- ? f -LRB- x + 1 ; i ; 1 -RRB- > = f -LRB- x + 1 ; i ; 2 -RRB- ? f -LRB- x ; i ; 1 -RRB- for x 2 X , i = 1 ; 2 . We shall say that f 2 K satisfies assumption : IC if f -LRB- x -RRB- is integer-convex in x ; equivalently , for any x 2 X , f -LRB- x + 2 -RRB- ? f -LRB- x + 1 -RRB- > = f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- : -LRB- 4:1 -RRB- MO if f -LRB- x -RRB- is monotone nondecreasing in x , i.e. for any x 2 X , f -LRB- x + 1 -RRB- > = f -LRB- x -RRB- -LRB- 4:2 -RRB- Let -LRB- u -LRB- f -RRB- ; v -LRB- f -RRB- -RRB- be the stationary policies that achieve the sup and the inf in valS -LRB- x ; f -LRB- x -RRB- -RRB- for all x 2 X. For f = V ? we have in particular -LRB- u -LRB- f -RRB- ; v -LRB- f -RRB- -RRB- = -LRB- u ? ; v ? -RRB- . Any -LRB- u -LRB- f -RRB- ; v -LRB- f -RRB- -RRB- for which f satisfies IC and MO , have the following threshold structure , where randomization occurs in most at one state : Theorem 4.1 Assume that f satisfies IC , MO. . Then there exist mu ; mv 2 X -LRB- that depend on f -RRB- and stationary policies u ; v , such that ux -LRB- f -RRB- = 8 > > > < > > > : -LRB- 1 ; 0 -RRB- if x < mu -LRB- qu ; ? qu -RRB- if x = mu and mu = mv -LRB- 0 ; 1 -RRB- if x = mu and mu < > mv -LRB- 0 ; 1 -RRB- if x > mu -LRB- 4:3 -RRB- vx -LRB- f -RRB- = 8 > > > < > > > : -LRB- 1 ; 0 -RRB- if x < mv -LRB- qv ; ? qv -RRB- if x = mv and mu = mv -LRB- 0 ; 1 -RRB- if x = mv and mu < > mv -LRB- 0 ; 1 -RRB- if x > mv -LRB- 4:4 -RRB- where qu ; qv 2 -LSB- 0 ; 1 -RSB- are some constants . The proof of Theorem 4.1 relies upon the following technical lemmas : Lemma 4.1 Let h : X -LSB- f ? 1g ! IR be a nondecreasing function . Let ? 1 ; ? 2 2 -LSB- 0 ; 1 -RSB- . Then , for all < = x , F -LRB- x -RRB- : = ? 2h -LRB- x + 1 -RRB- + ?? 2h -LRB- x -RRB- ? ? 1h -LRB- x -RRB- ? ?? 1h -LRB- x ? 1 -RRB- > = -LRB- 4:5 -RRB- Proof . F -LRB- x -RRB- > = h -LRB- x -RRB- ? ? 1h -LRB- x -RRB- ? ?? 1h -LRB- x ? 1 -RRB- = ?? 1 -LSB- h -LRB- x -RRB- ? h -LRB- x ? 1 -RRB- -RSB- > = Lemma 4.2 Assume that f satisfies IC , MO. . Then , S -LRB- ffl ; f -RRB- satisfies J1 - J6 , and for any i ; j 2 f1 ; 2g , S -LRB- ffl ; i ; j ; f -RRB- satisfies IC and MO. . Proof . We extend f : X ! IR to X -LSB- f ? 1g ! IR , and set f -LRB- ? 1 -RRB- = f -LRB- 0 -RRB- . With this definition , f satisfies IC and MO on X -LSB- f ? 1g , and -LRB- 3.2 -RRB- holds for x = too . -LRB- This extension will save us the need to establish below the boundary conditions -RRB- . We begin by J1 . For < = x , S -LRB- x ; i ; 2 ; f -RRB- ? S -LRB- x ; i ; 1 ; f -RRB- = -LRB- a2 ? a1 -RRB- ? + ? ? bi -LRB- f -LRB- x -RRB- ? f -LRB- x ? 1 -RRB- -RRB- + ? bi -LRB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- -RRB- ?? Since f satisfies IC , the term in curly brackets is monotone nondecreasing , and hence S -LRB- x ; i ; 2 ; f -RRB- ? S -LRB- x ; i ; 1 ; f -RRB- is monotone nonincreasing . This establishes J1 . The proof of J2 follows the same arguments . Next we check J3 . For < = x , S -LRB- x ; 1 ; 1 ; f -RRB- ? S -LRB- x ; 2 ; 1 ; f -RRB- ? -LSB- S -LRB- x ; 1 ; 2 ; f -RRB- ? S -LRB- x ; 2 ; 2 ; f -RRB- -RSB- = ?? -LRB- b1 ? b2 -RRB- -LRB- a1 ? a2 -RRB- -LRB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- ? f -LRB- x -RRB- + f -LRB- x ? 1 -RRB- -RRB- < = since f satisfies IC . This establishes J3 . Next we check J4 . For < = x , S -LRB- x + 1 ; 2 ; 1 ; f -RRB- ? S -LRB- x + 1 ; 2 ; 2 ; f -RRB- ? -LSB- S -LRB- x ; 1 ; 1 ; f -RRB- ? S -LRB- x ; 1 ; 2 ; f -RRB- -RSB- = ?? -LRB- a1 ? a2 -RRB- ? b2 -LSB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- -RSB- + ? b2 -LSB- f -LRB- x + 2 -RRB- ? f -LRB- x + 1 -RRB- -RSB- ? ? b1 -LSB- f -LRB- x -RRB- ? f -LRB- x ? 1 -RRB- -RSB- + ? b1 -LSB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- -RSB- ?? < = where the last inequality follows from Lemma 4.1 with ? i = ? bi and h -LRB- x -RRB- = f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- , and since f satisfies IC . Next we check J5 . For < = x , S -LRB- x + 1 ; 1 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 2 ; 2 ; f -RRB- ? -LSB- S -LRB- x ; 1 ; 1 ; f -RRB- ? S -LRB- x ; 2 ; 1 ; f -RRB- -RSB- = ?? -LRB- b1 ? b2 -RRB- ? ? a2 -LSB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- -RSB- + a2 -LSB- f -LRB- x + 2 -RRB- ? f -LRB- x + 1 -RRB- -RSB- ? -LSB- ? a1 -LSB- f -LRB- x -RRB- ? f -LRB- x ? 1 -RRB- -RSB- + a1 -LSB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- -RSB- -RRB- ? < = where the last inequality follows from Lemma 4.1 with ? i = ai and h -LRB- x -RRB- = f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- , and since f satisfies IC . Next we check J6 . For < = x , S -LRB- x + 2 ; i ; 2 ; f -RRB- ? S -LRB- x + 1 ; i ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; i ; 2 ; f -RRB- ? S -LRB- x ; i ; 1 ; f -RRB- -RSB- = c -LRB- x + 2 -RRB- ? c -LRB- x + 1 -RRB- ? c -LRB- x + 1 -RRB- + c -LRB- x -RRB- + ? 8 < : bi -LSB- a2f -LRB- x + 2 -RRB- + ? a2f -LRB- x + 1 -RRB- ? a1f -LRB- x + 1 -RRB- ? ? a1f -LRB- x -RRB- -RSB- + ? bi -LSB- a2f -LRB- x + 3 -RRB- + ? a2f -LRB- x + 2 -RRB- ? a1f -LRB- x + 2 -RRB- ? ? a1f -LRB- x + 1 -RRB- -RSB- ? bi -LSB- a2f -LRB- x + 1 -RRB- + ? a2f -LRB- x -RRB- ? a1f -LRB- x -RRB- ? ? a1f -LRB- x ? 1 -RRB- -RSB- ?? bi -LSB- a2f -LRB- x + 2 -RRB- + ? a2f -LRB- x + 1 -RRB- ? a1f -LRB- x + 1 -RRB- ? ? a1f -LRB- x -RRB- -RSB- 9 = ; > = ? 8 < : bi -LSB- a2 -LRB- f -LRB- x + 2 -RRB- ? f -LRB- x + 1 -RRB- -RRB- + ? a2 -LRB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- -RRB- ? a1 -LRB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- -RRB- ? ? a1 -LRB- f -LRB- x -RRB- ? f -LRB- x ? 1 -RRB- -RRB- -RSB- 9 = ; + ? 8 < : ? bi -LSB- a2 -LRB- f -LRB- x + 3 -RRB- ? f -LRB- x + 2 -RRB- -RRB- + ? a2 -LRB- f -LRB- x + 2 -RRB- ? f -LRB- x + 1 -RRB- -RRB- ? a1 -LRB- f -LRB- x + 2 -RRB- ? f -LRB- x + 1 -RRB- -RRB- ? ? a1 -LRB- f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- -RRB- -RSB- 9 = ; > = which follows by applying twice Lemma 4.1 with ? i = ai ; once with h -LRB- x -RRB- = f -LRB- x + 1 -RRB- ? f -LRB- x -RRB- for the term in the first curly brackets , and once with h -LRB- x -RRB- = f -LRB- x +2 -RRB- ? f -LRB- x ? 1 -RRB- for the term in the second curly brackets . The claim that S -LRB- ffl ; i ; j ; f -RRB- satisfies IC and MO is straight forward . Lemma 4.3 Assume that f satisfies IC , MO and define lJi : = inf y2XfS -LRB- y ; i ; 2 ; f -RRB- < = S -LRB- y ; i ; 1 ; f -RRB- g ; i = 1 ; 2 lIj : = inf y2XfS -LRB- y ; 1 ; j ; f -RRB- < = S -LRB- y ; 2 ; j ; f -RRB- g ; j = 1 ; 2 Then -LRB- i -RRB- S -LRB- x ; i ; 1 ; f -RRB- > = S -LRB- x ; i ; 2 ; f -RRB- iff x > = lJi , i = 1 ; 2 ; S -LRB- x ; 1 ; j ; f -RRB- < = S -LRB- x ; 2 ; j ; f -RRB- iff x > = lIj , j = 1 ; 2 . -LRB- ii -RRB- lji satisfy : lJ2 < = lJ1 < = lJ2 + 1 -LRB- 4:6 -RRB- lI1 < = lI2 < = lI1 + 1 -LRB- 4:7 -RRB- Proof . -LRB- i -RRB- follows since S -LRB- ffl ; f -RRB- satisfies J1 and J2 . Since S -LRB- ffl ; f -RRB- satisfies J3 , by Lemma 4.2 , it follows that fS -LRB- x ; 1 ; 1 ; f -RRB- > = S -LRB- x ; 1 ; 2 ; f -RRB- g -RRB- fS -LRB- x ; 2 ; 1 ; f -RRB- > = S -LRB- x ; 2 ; 2 ; f -RRB- g and hence the left inequality in -LRB- 4.6 -RRB- . Moreover , fS -LRB- x ; 1 ; 2 ; f -RRB- < = S -LRB- x ; 2 ; 2 ; f -RRB- g -RRB- fS -LRB- x ; 1 ; 1 ; f -RRB- < = S -LRB- x ; 2 ; 1 ; f -RRB- g and hence the left inequality in -LRB- 4.7 -RRB- . Since S -LRB- ffl ; f -RRB- satisfies J4 , by Lemma 4.2 , it follows that fS -LRB- x + 1 ; 2 ; 1 ; f -RRB- > = S -LRB- x + 1 ; 2 ; 2 ; f -RRB- g -RRB- fS -LRB- x ; 1 ; 1 ; f -RRB- > = S -LRB- x ; 1 ; 2 ; f -RRB- g and hence the right inequality in -LRB- 4.6 -RRB- . Finally , since S -LRB- ffl ; f -RRB- satisfies J5 , by Lemma 4.2 , it follows that fS -LRB- x ; 1 ; 1 ; f -RRB- < = S -LRB- x ; 2 ; 1 ; f -RRB- g -RRB- fS -LRB- x + 1 ; 1 ; 2 ; f -RRB- < = S -LRB- x + 1 ; 2 ; 2 ; f -RRB- g and hence the right inequality in -LRB- 4.7 -RRB- . This establishes -LRB- ii -RRB- . Proof of Theorem 4.1 : It follows from Lemma 4.3 that -LRB- i -RRB- S -LRB- x ; i ; 1 ; f -RRB- > = S -LRB- x ; i ; 2 ; f -RRB- for x > lJ2 and any i 2 f1 ; 2g ; -LRB- ii -RRB- S -LRB- x ; i ; 1 ; f -RRB- < S -LRB- x ; i ; 2 ; f -RRB- for x < lJ2 and any i 2 f1 ; 2g ; -LRB- iii -RRB- S -LRB- x ; 2 ; j ; f -RRB- > = S -LRB- x ; 1 ; j ; f -RRB- for x > lI1 and any j 2 f1 ; 2g ; -LRB- iv -RRB- S -LRB- x ; 2 ; j ; f -RRB- < S -LRB- x ; 1 ; j ; f -RRB- for x < lI1 and any j 2 f1 ; 2g ; To obtain valS -LRB- x ; f -RRB- , we note the following : if S -LRB- x ; i ; 1 ; f -RRB- > = S -LRB- x ; i ; 2 ; f -RRB- for both i = 1 ; 2 , then player 2 has a dominant policy , i.e. in state x it is optimal for him to choose action a2 -LRB- w.p. 1 -RRB- . If S -LRB- x ; i ; 1 ; f -RRB- < = S -LRB- x ; i ; 2 ; f -RRB- for both i = 1 ; 2 , then the dominant policy of player 2 when in state x is to choose action a1 . If S -LRB- x ; 1 ; j ; f -RRB- < = S -LRB- x ; 2 ; j ; f -RRB- for both j = 1 ; 2 , then the dominant policy of player 1 when in state x is to choose action a2 , and if S -LRB- x ; 1 ; j ; f -RRB- > = S -LRB- x ; 2 ; j ; f -RRB- for both j = 1 ; 2 , then the dominant policy of player 1 when in state x is to choose action a1 . If player 1 has a dominant policy of choosing action bi in state x , then -LRB- i -RRB- if S -LRB- x ; i ; 2 ; f -RRB- < = S -LRB- x ; i ; 1 ; f -RRB- then the optimal policy of player 2 in state x is a2 , and valS -LRB- x ; f -RRB- = S -LRB- x ; i ; 2 ; f -RRB- ; -LRB- ii -RRB- if S -LRB- x ; i ; 1 ; f -RRB- < = S -LRB- x ; i ; 2 ; f -RRB- then the optimal policy of player 2 in state x is a1 , and valS -LRB- x ; f -RRB- = S -LRB- x ; i ; 1 ; f -RRB- . If player 2 has a dominant policy of choosing action aj in state x , then -LRB- i -RRB- if S -LRB- x ; 1 ; j ; f -RRB- < = S -LRB- x ; 2 ; j ; f -RRB- then the optimal policy of player 1 in state x is b2 , and valS -LRB- x ; f -RRB- = S -LRB- x ; 2 ; j ; f -RRB- ; -LRB- ii -RRB- if S -LRB- x ; 2 ; j ; f -RRB- < = S -LRB- x ; 1 ; j ; f -RRB- then the optimal policy of player 1 in state x is b1 , and valS -LRB- x ; f -RRB- = S -LRB- x ; 1 ; 1jf -RRB- . we consider the following three cases . Case 1 : lI1 < lJ2 . Then valS -LRB- x ; f -RRB- = 8 > < > : S -LRB- x ; 1 ; 1 ; f -RRB- x < lI1 S -LRB- x ; 2 ; 1 ; f -RRB- lI1 < = x < lJ2 S -LRB- x ; 2 ; 2 ; f -RRB- lJ2 < = x Hence , mv = lJ2 > mu = lI1 . Case 2 : lI2 < lJ1 . Then valS -LRB- x ; f -RRB- = 8 > < > : S -LRB- x ; 1 ; 1 ; f -RRB- x < lJ1 S -LRB- x ; 1 ; 2 ; f -RRB- lJ1 < = x < lI2 S -LRB- x ; 2 ; 2 ; f -RRB- lI2 < = x Hence , mv = lJ1 < mu = lI2 . Case 3 : lI2 > = lJ1 , and lI1 > = lJ2 . Then it follows from -LRB- 4.6 -RRB- and -LRB- 4.7 -RRB- that mu = mv = lI1 , qu ; qv 2 -LSB- 0 ; 1 -RSB- , and valS -LRB- x ; f -RRB- = 8 > < > : S -LRB- x ; 1 ; 1 ; f -RRB- x < lI1 S -LRB- x ; ux ; vx ; f -RRB- x = lI1 S -LRB- x ; 2 ; 2 ; f -RRB- lI1 < = x where ulI1 = fqu ; ? qug and vlI1 = fqv ; ? qvg . Note that in fact randomization occurs only in Case 3 and only if lI1 = lJ2 < lI2 = lJ1 . The other possibilities in case 3 -LRB- for which qu = qv = 0 -RRB- are -LRB- i -RRB- lI1 = lI2 = lJ1 = lJ2 + 1 ; -LRB- ii -RRB- lI1 = lI2 = lJ2 = lJ1 ? 1 and -LRB- iii -RRB- lI1 = lI2 = lJ2 = lJ1 . Lemma 4.4 Assume that f satisfies IC , MO. . Then T?f satisfies IC and MO. . Proof . It follows from Wessels -LSB- 13 -RSB- Section 4 that T?f 2 K. Denote : I1 = fx : x < minfmu ; mvg ? 2g , I2 = fx : minfmu ; mvg < = x < maxfmu ; mvg ? 2g , I3 = fx : x > = maxfmu ; mvgg . It follows from Lemma 4.3 that -LRB- 4.1 -RRB- holds for x 2 I1 -LSB- I2 -LSB- I3 . In order to check in the remaining states , we distinguish between the 3 cases described in the proof of Theorem 4.1 . Denote F -LRB- x -RRB- = valS -LRB- x + 2 ; f -RRB- ? valS -LRB- x + 1 ; f -RRB- ? -LSB- valS -LRB- x + 1 ; f -RRB- ? valS -LRB- x ; f -RRB- -RSB- ; For either -LRB- i -RRB- case 1 and x = minfmu ; mvg ? 2 , -LRB- i.e. x = lI1 ? 2 -RRB- , or -LRB- ii -RRB- case 2 , x = maxfmu ; mvg ? 2 , -LRB- i.e. x = lI2 ? 2 -RRB- , and mv = lJ1 < lI2 ? 1 = mu we have F -LRB- x -RRB- = S -LRB- x + 2 ; 2 ; j ; f -RRB- ? S -LRB- x + 1 ; 1 ; j ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; j ; f -RRB- ? S -LRB- x ; 1 ; j ; f -RRB- -RSB- > = S -LRB- x + 2 ; 1 ; j ; f -RRB- ? S -LRB- x + 1 ; 1 ; j ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; j ; f -RRB- ? S -LRB- x ; 1 ; j ; f -RRB- -RSB- > = where the last inequality is due to Lemma 4.3 , j = 1 for -LRB- i -RRB- and j = 2 for -LRB- ii -RRB- . In case 2 , if x = maxfmu ; mvg ? 2 = lI2 ? 2 , and mv = lJ1 = lI2 ? 1 = mu ? 1 then we have F -LRB- x -RRB- = S -LRB- x + 2 ; 2 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 2 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; 2 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- > = S -LRB- x + 2 ; 1 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; 2 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- > = where the last inequality follows since S -LRB- x ; f -RRB- satisfies J6 . For either -LRB- i -RRB- case 1 , x = minfmu ; mvg ? 1 , -LRB- i.e. x = lI1 ? 1 -RRB- , and mv = lJ2 > lI1 ? 1 = mu ? 1 , or -LRB- ii -RRB- case 2 , x = maxfmu ; mvg ? 1 , -LRB- i.e. x = lI2 ? 1 -RRB- , we have F -LRB- x -RRB- = S -LRB- x + 2 ; 2 ; j ; f -RRB- ? S -LRB- x + 1 ; 2 ; j ; f -RRB- ? -LSB- S -LRB- x + 1 ; 2 ; j ; f -RRB- ? S -LRB- x ; 1 ; j ; f -RRB- -RSB- > = S -LRB- x + 2 ; 2 ; j ; f -RRB- ? S -LRB- x + 1 ; 2 ; j ; f -RRB- ? -LSB- S -LRB- x + 1 ; 2 ; j ; f -RRB- ? S -LRB- x ; 2 ; j ; f -RRB- -RSB- > = where the last inequality since by Lemma 4.3 , S -LRB- x ; f -RRB- satisfies J6 ; j = 1 for -LRB- i -RRB- and j = 2 for -LRB- ii -RRB- . In case 1 , if x = minfmu ; mvg ? 1 = lI1 ? 1 , and mv = lJ2 = lI1 ? 1 = mu ? 1 then we have F -LRB- x -RRB- = S -LRB- x + 2 ; 2 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 2 ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 2 ; 1 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- > = S -LRB- x + 2 ; 1 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; 2 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- > = where the last inequality follows since , by Lemma 4.3 , S -LRB- x ; f -RRB- satisfies J6 . For either -LRB- i -RRB- case 2 and x = minfmu ; mvg ? 2 , -LRB- i.e. x = lJ1 ? 2 -RRB- , or -LRB- ii -RRB- case 1 , x = maxfmu ; mvg ? 2 , -LRB- i.e. x = lJ2 ? 2 -RRB- , and mv = lJ2 > lI1 + 1 = mu + 1 we have F -LRB- x -RRB- = S -LRB- x + 2 ; i ; 2 ; f -RRB- ? S -LRB- x + 1 ; i ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; i ; 1 ; f -RRB- ? S -LRB- x ; i ; 1 ; f -RRB- -RSB- > = S -LRB- x + 2 ; i ; 2 ; f -RRB- ? S -LRB- x + 1 ; i ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; i ; 2 ; f -RRB- ? S -LRB- x ; i ; 1 ; f -RRB- -RSB- > = 14 where the last inequality follows since , by Lemma 4.3 , S -LRB- x ; f -RRB- satisfies J6 , i = 2 for -LRB- i -RRB- and i = 1 for -LRB- ii -RRB- . -LRB- For case 1 , if x = maxfmu ; mvg ? 2 = lJ2 ? 2 , and mv = lJ2 = lI1 + 1 = mu + 1 we have the situation described above -LRB- 4.8 -RRB- -RRB- . For either -LRB- i -RRB- case 2 , x = minfmu ; mvg ? 1 , -LRB- i.e. x = lJ1 ? 1 -RRB- , and mv = lI2 > lJ1 + 1 = mu + 1 , -LRB- ii -RRB- case 1 , x = maxfmu ; mvg ? 1 , -LRB- i.e. x = lJ2 ? 1 -RRB- , we have F -LRB- x -RRB- = S -LRB- x + 2 ; i ; 2 ; f -RRB- ? S -LRB- x + 1 ; i ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; i ; 1 ; f -RRB- ? S -LRB- x ; i ; 1 ; f -RRB- -RSB- > = S -LRB- x + 2 ; i ; 2 ; f -RRB- ? S -LRB- x + 1 ; i ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; i ; 2 ; f -RRB- ? S -LRB- x ; i ; 1 ; f -RRB- -RSB- > = where the last inequality follows since , by Lemma 4.3 , S -LRB- x ; f -RRB- satisfies J6 , i = 2 for -LRB- i -RRB- and i = 1 for -LRB- ii -RRB- . -LRB- For case 2 , if x = minfmu ; mvg ? 1 = lJ1 ? 1 , and mv = lI2 = lJ1 + 1 = mu + 1 then we are back in the situation described above -LRB- 4.8 -RRB- -RRB- . It remains to check Case 3 . Denote ffi1 = -LRB- 1 ; 0 -RRB- , ffi2 = -LRB- 0 ; 1 -RRB- . For x = mu ? 2 = mv ? 2 = lI1 ? 2 we have F -LRB- x -RRB- = ux +2 S -LRB- x + 2 ; f -RRB- vx +2 ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- > = ffi1S -LRB- x + 2 ; f -RRB- vx +2 ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- = qvfS -LRB- x + 2 ; 1 ; 1 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- g + ? qvfS -LRB- x + 2 ; 1 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- g > = ? qv fS -LRB- x + 2 ; 1 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? -LSB- S -LRB- x + 1 ; 1 ; 2 ; f -RRB- ? S -LRB- x ; 1 ; 1 ; f -RRB- -RSB- g > = where the last inequality follows since , by Lemma 4.3 , S -LRB- x ; f -RRB- satisfies J6 , For x = mu ? 1 = mv ? 1 = lI1 ? 1 we have F -LRB- x -RRB- = S -LRB- x + 2 ; 2 ; 2 ; f -RRB- ? 2ux +1 S -LRB- x + 1 ; f -RRB- vx +1 + S -LRB- x ; 1 ; 1 ; f -RRB- > = S -LRB- x + 2 ; 2 ; 2 ; f -RRB- ? ux +1 S -LRB- x + 1 ; f -RRB- ffi1 ? ux +1 S -LRB- x + 1 ; f -RRB- ffi2 + S -LRB- x ; 1 ; 1 ; f -RRB- > = qufS -LRB- x + 2 ; 2 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 2 ; f -RRB- + S -LRB- x ; 1 ; 1 ; f -RRB- g + ? qufS -LRB- x + 2 ; 2 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 2 ; 1 ; f -RRB- ? S -LRB- x + 1 ; 2 ; 2 ; f -RRB- + S -LRB- x ; 1 ; 1 ; f -RRB- g > = qufS -LRB- x + 2 ; 1 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 1 ; f -RRB- ? S -LRB- x + 1 ; 1 ; 2 ; f -RRB- + S -LRB- x ; 1 ; 1 ; f -RRB- g + ? qufS -LRB- x + 2 ; 2 ; 2 ; f -RRB- ? S -LRB- x + 1 ; 2 ; 1 ; f -RRB- ? S -LRB- x + 1 ; 2 ; 2 ; f -RRB- + S -LRB- x ; 2 ; 1 ; f -RRB- g > = The last inequality follows since , by Lemma 4.3 , S -LRB- x ; f -RRB- satisfies J6 . This establishes that S -LRB- ffl ; f -RRB- satisfies IC . In order to prove that valS -LRB- ffl ; f -RRB- satisfies MO , it suffices to show that valS -LRB- 1 ; f -RRB- > = valS -LRB- 0 ; f -RRB- , since we already established that S -LRB- ffl ; f -RRB- satisfies IC . Indeed , valS -LRB- 1 ; f -RRB- ? valS -LRB- 0 ; f -RRB- = S -LRB- 1 ; u1 ; v1 ; f -RRB- ? S -LRB- 0 ; u0 ; v0 ; f -RRB- > = S -LRB- 1 ; u0 ; v1 ; f -RRB- ? S -LRB- 0 ; u0 ; v1 ; f -RRB- > = The last inequality follows since , by Lemma 4.3 , S -LRB- x ; f -RRB- satisfies MO. . We are now ready to prove the main result . Theorem 4.2 The optimal value V ? satisfies MO and IC , and the optimal policies -LRB- u ? ; v ? -RRB- have a threshold structure described by Theorem 4.1 . Proof . Choose f -LRB- x -RRB- = ; 8x 2 X. By repeated application of Lemma 4.4 , it follows that Tn ? f satisfies MO and IC , n = 1 ; 2 ; : : : ; moreover , limn ! 1 Tn ? f satisfies MO and IC , n = 1 ; 2 ; : : : . Hence by Proposition 3.1 V ? satisfies MO and IC , and the proof is established by applying Theorem 4.1 . Acknowledgement : I wish to thank Jerzy Filar for many fruitful discussions and for introducing me into stochastic game . References -LSB- 1 -RSB- C. Douligeris and R. Mazumdar , \ An approach to Flow Control in an Integrated Environ - ment '' , CTR Technical Report , CUCTR-TR-50 , Columbia University , 1987 . -LSB- 2 -RSB- C. Douligeris and R. Mazumdar , \ On Pareto Optimal Flow Control in an Integrated Envi - ronment '' , Proc . of the 25th Allerton Conference Univ. of Illinois , Urbana , Oct. 1987 . -LSB- 3 -RSB- C. Douligeris and R. Mazumdar , \ More on Pareto Optimal Flow Control , '' Proc . of the 26th Allerton Conference Univ. of Illinois , Urbana , Oct. 1987 . -LSB- 4 -RSB- M. T. Hsiao and A. A. Lazar , \ Optimal Decentralized Flow Control of Markovian queueing Networks with Multiple Controllers '' , CTR Technical Report , CUCTR-TR-19 , Columbia University , 1986 . -LSB- 5 -RSB- E. Kalai and E. Zemel , \ Generalized Network Problems Yielding Totally Balanced Games '' , Operations Research 30 No. 5 , pp. 998-1008 , 1982 . -LSB- 6 -RSB- Lazar A. \ The Throughput Time Delay Function of an M/M/1 Queue '' , IEEE Trans . on Info . Theory , IT-29 No. 6 , pp. 914-918 , 1981 . -LSB- 7 -RSB- Lazar A. \ Optimal flow control of a class of queuing networks in equilibrium '' , IEEE Trans . Auto . Cont. , Vol 28 no. 11 , pp. 1001-1007 , 1983 . -LSB- 8 -RSB- M. Marchand , \ Prriority Pricing '' , Maanagement Science , 20 , No. 7 , pp. 1131-11400 , 1974 . -LSB- 9 -RSB- L. Mason , \ Flow , Routing Patterns and Algorithms for Store-and-Forward Networks '' , J. of Large Scale Systems , 8 , pp. 187-209 , 1985 . -LSB- 10 -RSB- L. Mason and A. Girard , \ Control Techniques and Performance Models in Circuit Switched Networks '' , Proc IEEE CDC , Orlando , Fl. , 1982 . -LSB- 11 -RSB- R. Mazumdar , L. Mason and C. Douligeris , \ Fairness in Network Optimal Flow Control : Optimality of Product Forms '' , preprint . -LSB- 12 -RSB- S. Shenker , \ Efficient Network Allocation with Selfish Users '' , Proceeding of the 14th IFIP WG 7.3 International Symposium on Computer Performance Modeling , Edinburgh , pp. 279 - 285 , 1990 . -LSB- 13 -RSB- J. Wessels , \ Markov games with unbounded rewards '' , Memorandum COSOR 76-05 , Depart - ment of Mathematics , Einthoven University of Technology , 1976 , appeared in Dynamische Optimierung , M. Sch?al editor , Bonner Mathematische Schriftenn , Nr . 98 , Bonn , 1977 .

O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I I I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O

control of queueing networks
dynamic flow control