Począwszy od początku 2008 roku, Čelůstka powoływany był do kolejnych reprezentacji juniorskich i młodzieżowych (U-19, 2 mecze; U-20, 4 mecze; U-21, 18 meczów, 1 gol). Z drużyną do lat 21 w 2011 roku wystąpił na rozgrywanych w Danii Mistrzostwach Europy, podczas których młodzi Czesi zajęli 4. miejsce.