Sundby var oppvokst i Stavern og begynte der fotballkarrieren i Stag, som han spilte for til han var guttespiller. Deretter gikk ferden videre til , hvor også hans far Reidar Sundby hadde spilt. Broren, Reidar Sundby jr. var med Hallvar Thoresen i 1976 til .