Rykter og ikke verifisert folkeminne, som synes å strekke seg tilbake til 1960-tallet, forteller om en såkalt gjenganger på Vaterholmen. Det hevdes å være en tysk offiser ved navn Josef, etternavn ikke oppgitt, som angivelig begikk selvmord ved å henge seg i et rom i andre etasje av den såkalte Løytnantsboligen. Mangelen på alvor i avisenes omtale synes å vise at det er svært liten holdbarhet i disse ryktene, til tross for kortvarig oppmerksomhet fra , og . Lederen ved asylmottaket avviste ryktene som tøv og hevdet at det var kun lokalavisen som drev med skremsel av beboerne.