Psykiske problemer var intet unntak i familiehistorien til Fish. En onkel led av religiøs psykose og døde på institusjon. Det samme gjaldt en halvbror. En yngre bror var tilbakestående og moren var kjent som «merkelig» og for å høre og se ting som ikke eksisterte. En tante ble ansett som «fullstendig gal», en bror var alkoholiker og en av søstrene hadde også en mental lidelse.