Som barn fikk Mathisen tuberkulose, og ble sendt til det daværende Kysthospitalet i Tromsø, der han var innlagt fra 9. mai 1949 til 21. september 1956. I denne lange perioden fikk han ha svært lite kontakt med sine foreldre og øvrig familie. Tre av onklene hans og den ene bestefaren døde av sykdommen. Selv ble han friskmeldt i 1955, men måtte bli værende på sykehuset enda et år fordi moren hans var syk. Dette var en traumatisk del av oppveksten som har preget også kunstnerskapet hans. Han har fortalt om denne erfaringen i både tekst og bilder i den selvbiografiske kunstboken som ble utgitt i 1998 på DAT forlag med Nils-Aslak Valkeapää som redaktør.