Hyypiä startet sin karriere med lag som Pallo-Peikot og KuMu før han ble spiller i den finske toppklubben MyPa til 1992-sesongen. Han vant cupen med laget samme sesong og tre år senere i 1995.