队名的来历是一座叫做“沙尔克”的矿井。因为盖尔森基兴是煤矿城市，所以成员都是煤矿工人。1924年改名为沙尔克04足球俱乐部（）；5年后的1929年因获得盖尔森基兴市在财政协助兴建新球场，更名盖尔森基兴沙尔克04足球俱乐部（）。当时未成立德甲，联赛是德国锦标赛。沙尔克04在1934年首度夺得联赛冠军；1937年沙尔克04赢得了首个德国盃冠军。此后至1958年，沙尔克04一共赢得了17次德国锦标赛冠军。沙尔克04是1963年德甲成立时的创始成员，但由于实力所限，多年来沙尔克04都未曾赢得德甲联赛冠军。19