幅真迹最感兴趣，赵10岁时（约1931年），族中的一位叔叔，从巴黎带回很多明信片，有许多西方的油画，赵尤爱其中米勒的《天使》，他从此便喜欢画画，也获得父亲与长辈的认同。1935年赵无极通过考试进入国立杭州艺术专科学校（简称杭州艺专）就读，学习绘画，师从吴大羽、方干民、林风眠，同年结识了同为杭州艺专学习音乐的谢景兰、吴冠中、朱德群是赵的学长。1937年爆发抗日战争，为避免战祸，杭州艺专师生不断往西迁移，由浙江杭州，辗转移设至诸暨、江西贵溪、湖南沅陵、贵州贵阳、云南昆明、四川松林冈，1942年迁设于重庆。