아니요. 딱히 여기서 allowed가 생략되었다고 볼 필요는 없어요. 물론 you're not allowed to leave this building이라고 말할 수는 있겠죠. 하지만 꼭 그런 건 아니에요! 왜냐하면, You're not to라는 표현 그 자체로도 어떠한 행동에 제약을 거는 것을 뜻하거든요. 그러나 you're not allowed to와 비교했을 때, you're not to가 좀 더 격식이 있는 표현이다 보니, 일상생활에서의 사용빈도는 조금 더 낮다고 볼 수 있겠네요.
예: You're not to touch anything in the store. (가게에 있는 물건은 아무것도 건드리지 마라.)
예: The dog is not to sit on the couch. (개는 소파에 앉으면 안 된다.)