Handanovič startet sin fotballkarriere hos den lokale klubben Olimpija Ljubljana i 1996, men fikk bare åtte seriekamper for klubben da han i 2001 dro videre til Triglav Kranj. Der spilte han kun én sesong og fikk åtte kamper før han returnerte til Olimpija Ljubljana. Etter å ha spilt kun én kamp på tre sesonger dro han til Koper, hvor han fikk betraktelig flere seriekamper og blant annet vant den slovenske cupen både i 2005/2006 og i 2006/2007-sesongen.