Syversen giftet seg første gang i juli 1931 med Lilly Gustavsen, og sammen fikk de en datter. Ekteskapet ble imidlertid kortvarig, og paret ble separert i 1932. Syversen hevdet senere i rettsforhør at de ble skilt i 1934 eller 1935, selv om han aldri mottok formelle skilsmissepapirer. Etter separasjonen oppga han kontakten med både sin datter og tidligere kone. Han betalte ikke underholdsbidrag til sin datter eller sin ekskone, og bidro heller ikke frivillig økonomisk.