Det gikk dårlig for virksomheten til Alver, og i 1863 gikk han konkurs. Det var også rot i regnskapet, og han reiste i all hast til USA for å unngå å havne i gjeldsfengsel. Det var meningen at resten av familien skulle komme over til USA når faren hadde fått seg arbeide, men det ville ikke moren. De ble derfor boende i Bergen.