Thorvald Lammers var sønn av Amund Lammers (1804–71), direktør på Sølvverket, senere bergmester ved Det vestenfjeldske bergmesterdistrikt og Marie Pauline Schult (1816–90). Thorvald Lammers tilbrakte derfor sin barndom og første ungdom på Kongsberg. Han var brorsønn av Gustav Adolph Lammers. Gjennom sin kone var han svoger av brødrene Sars og Eva Nansen, og svigersønn av Michael og Maren Sars.