Grémillon hadde musikkutdannelse og fikk etter skolegangen jobb som fiolinist i et kinoorkester som akkompagnerte stumfilmvisninger. Han ble venn med kinomaskinisten, Georges Périnal, og sammen lagde de et tjuetalls korte dokumentarfilmer mellom 1923 og 1926, hvorav fler i dag er tapt. Grémillons regisserte sin første langfilm i 1927, og fikk sitt kommersielle gjennombrudd i 1928 med stumfilmen .