いいえ、この文では「allowed」が省略されているわけではありません。ここでは代わりに「you're not allowed to leave this building」と言うこともできますが、「allowed」は必要ではありません。「allowed」を使わなくても、「you're not to」で誰かに何かをすることが許されていないことを表すことができます。ただし、「you're not to」の方が「you're not allowed to」よりも少しフォーマルに聞こえるので、こちらの方が使われることも少ないです。
例: You're not to touch anything in the store.（店のものはすべて触ってはいけません。）
例: The dog is not to sit on the couch.（ソファの上に犬を座らせてはいけません。）