Han var sønn av en industriarbeider, og som eldst i en søskenflokk på seks, vokste han opp i nokså trange kår. Han viste tidlig interesse og talent for billedkunst. Etter folkeskolen på Lilleby gikk han på den kommunale middelskolen fra 1916 til 1919. I denne perioden fikk han også sin første profesjonelle undervisning i tegning hos NTH-professor Harald Krohg Stabell, som drev kunstskole på fritiden. Ness ble etterhvert regnet som en av Trondheims store sønner som følge av sin kunst.