10个月后父亲回国，在加州居住了16个月，在基思3岁时他们回到宾州。艾伦擅长画卡通，基思小时候他教他画线和圆圈。基思小时候就喜欢搜集卡通，6岁时作过《小丑》这样的蜡笔画。他喜欢画狗，11岁就能在父亲指导下拼装音响。他还能在离自己家四条街道的祖母家接触到《生活》、《展望》等杂志。12岁时，小哈林开始画一些宗教符号。他短暂的参加过童军，15岁时开始接触毒品。基思有3个妹妹，大的两个都与他十分疏远，只有小妹与他亲近。凯斯在19岁时搬至纽约市居住，并于纽约视觉艺术学院就学，作品带有浓厚的普普艺术风格；他最早期的