徒大港。父亲赵汉生是银行家。1921年2月，赵无极于北京出生，为 7 个小孩中的长子。在镇江丹徒大港赵氏家族有不少字画收藏，赵无极对米芾的一幅真迹最感兴趣，赵10岁时（约1931年），族中的一位叔叔，从巴黎带回很多明信片，有许多西方的油画，赵尤爱其中米勒的《天使》，他从此便喜欢画画，也获得父亲与长辈的认同。1935年赵无极通过考试进入国立杭州艺术专科学校（简称杭州艺专）就读，学习绘画，师从吴大羽、方干民、林风眠，同年结识了同为杭州艺专学习音乐的谢景兰、吴冠中、朱德群是赵的学长。1937年爆发抗日战争