Vavilov kom til verden i en kjøpmannsfamilie i Moskva, faren var en ledende ansatt ved en tekstilfabrikk. Hans storebror Sergej, var fysiker og president for vitenskapsakademiet i Sovjetunionen fra juli 1945 til sin død.