A mediados del siglo XIX, Valdeolmillos contaba con 505 habitantes, al iniciarse el siglo XX con 431, en 1930 con 415, en 1960 con 301, en 1991 con 88 y en 2006 con 74.