搬来台南后经营的小生意不太顺遂，所以并未因家中增添男丁而有什么特别的庆祝。而就在陈玉峰刚两岁（虚岁3岁）时（1902年），其父积劳病逝，家计便落到其母亲与兄长们身上。而在母亲兄姐的照料下，陈玉峰养成了独立自适的性格。年幼时的陈玉峰常趁家人不注意时到东岳帝庙一带去玩，因而接触了庙宇及四周书画裱褙店里的传统图像，启发他在传统绘画的才能。1908年时，已到八岁学龄的他进入了公学校就读，不过他主要的心力仍放在绘画上。他的母亲对这种状况相当关切，而陈玉峰则仍坚持继续绘画，后来在他于新楼医院担任汉文老师的堂哥陈延龄