下西里西亚省（现属波兰）的欧尔斯（Oels，现称Oleśnica），是家中的第七个孩子。父亲是替巴洛克教堂制作铁工艺品的工匠，家境并不富裕 。受二战影响，其和家人频繁地迁移，1945年逃到德国图林根；1953年，为了逃离东德的共产主义政权，全家人先逃往西柏林，后到西德莱茵兰定居。波尔克从幼年时期就开始画画，加上祖父喜欢摄影。当他移居西德后，他开始到美术馆和画廊参观，决定要成为艺术家。1959至1961年，波尔克在一间彩色玻璃工厂当学徒。1961至1968年他就读杜塞尔多夫艺术学院，跟随、学习，并深受约瑟