Siegfried Fehmer vokste opp i Moskva med tyskbaltiske foreldre fra Latvia. Familien hadde russisk statsborgerskap. Begge barna fikk navn fra germansk sagnverden; Fehmers storesøster het Sigrid Helga. Som bygningsingeniør arbeidet faren deres i Moskva under første verdenskrig, og som seksåring opplevde Fehmer den russiske revolusjon på nært hold, med gatekamper, lange opphold gjemt i kjelleren, og matmangel der det iblant bare var potetskrell å leve av. Fehmer kom derfor aldri til å like chips eller annet som minnet om Moskva-tiden.