For hundrevis av år siden terroriserte det ondskapsfulle spøkelset Spooky hele Pac-Land og innbyggerne - kalt Pac-People. For å stoppe ham skapte den store trollmannen Pac en kraftig trylledrikk for å forvandle fem vanlige frukter til magisk gylden frukt. Ridderen Sir Pac-A-Lot beseiret Spooky i kamp, og brukte Golden Fruit for å forsegle spøkelset under et tre i sentrum av Pac-Village. En dag sniker Blinky, Inky, Pinky og Clyde seg inn i Pac-Village om natten for å finne på ugagn. De stjeler den gyldne frukten fra treet, uvitende om hvorfor frukten egentlig er der, og løslater uforvarende Spooky. Spøkelset befaler dem å hjelpe ham med å eliminere alle Pac-People. Neste morgen informerer en professor Pac-Man om dette problemet, og ber ham om å få tak i all den stjålne Golden Fruit igjen hvis de skal klare å redde Pac-Land.