霍刚1932年7月23日生于中华民国南京市，本名霍学刚，字柔存；父亲霍道成，母亲桑玉华。抗日战争时，霍家移居重庆。小学时的劳作与图画，是霍刚最好的两门课。1949年，霍刚只身与国民革命军遗族学校来台湾，成长养成教育于台湾。1951年，霍刚向李仲生学习现代艺术，其思想画艺受影响至为深远。1957年，霍刚与其他七位画友李元佳、吴昊、欧阳文苑、夏阳、萧勤、陈道明、萧明贤组成「东方画会」， 当时被报纸媒体称之为「八大响马」，这称号十足表露出这些年轻人的冲劲、叛逆性和创造力并驰骋艺坛迄今。.1964年霍刚搭法国