I 1958 giftet Schwaiger seg for tredje gang med enken Borghild Brubakken. Hans siste arbeidsplass var hos Brubakken Truckservice som da ble drevet av hans kones sønn Borgar Brubakken. Like før han skulle pensjoneres ble han utsatt for en arbeidsulykke og skadet den ene hånden, noe som gjorde det vanskelig for ham å fortsette med musikken.