Ifølge russiske kilder hadde Tamm tysk adelig herkomst på farssiden, bestefaren hans, Teodor Tamm, emigrerte fra Thüringen til Russland, flere kilder sier at Tamm også var jøde. Hans mor het Olga og hans far het Evengij og var sivilingeniør. Han studerte på gymnaset i Elisavetgrad (nå Kropyvnytskyj) i Ukraina. I perioden fra 1913 til 1914 studerte han ved Universitetet i Edinburgh. Han var også ateist.