Atanasoff s bulharskými, francouzskými a irskými předky se narodil 4. října 1903 v Hamiltonu v New Yorku elektroinženýrovi a učitelce. Atanasovův otec Ivan Atanasoff se narodil v roce 1876 ve vesnici Boyadzhik poblíž Jambolu v Bulharsku. Ještě když byl kojenec, byl Ivanův otec zabit vojáky Otomanské říše po Bulharském Dubnovém povstání. V roce 1889 Ivan se svým strýcem imigroval do Spojených států. Atanasova matka Ivana Lucena Purdy byla učitelkou matematiky.