Čelůstka pelasi Tšekin nuorisomaajoukkueissa. Hän pelasi neljä ottelua alle 20-vuotiaiden MM-kilpailuissa 2009 ja viisi ottelua alle 21-vuotiaiden EM-kilpailuissa 2011. Hän pelasi ensimmäisen kerran Tšekin A-maajoukkueessa marraskuussa 2013 ystävyysottelussa Kanadaa vastaan. Hän on kesän 2021 EM-kilpailujen päättyessä pelannut 31 A-maaottelua, joissa 28 kertaa avauskokoonpanossa. Hän on tehnyt kolme maaottelumaalia: debyyttiottelussaan Kanadaa vastaan sekä marraskuussa 2019 EM-karsintaottelussa Kosovoa ja kesäkuussa 2021 ystävyysottelussa Albaniaa vastaan. Kesän 2021 EM-kilpailuissa hän pelasi Tšekin viidessä ottelussa täydet minuutit aina Tanskaa vastaan pelatun puolivälieräottelun 65. minuutille, jolloin hän joutui loukkaantumisen takia vaihtoon.