Det kommer inte att finnas någon Gatwick Express-tjänst och de flesta sydliga tjänster kommer att omdirigeras via London Bridge.
Gatwick-passagerare kommer att kunna använda alternativa tjänster från Blackfriars eller London Bridge.
Inga tjänster kommer att fungera mellan London Victoria och Brighton, men tåg mellan staden och London Bridge kommer att köras i början av morgnar och kvällar.
På söndagen ersätter bussarna tågen mellan Gillingham och Faversham och mellan Sittingbourne och Sheerness i Kent.
Sydöstra sade järnvägen ersättningsbussar skulle också fungera mellan Shepherdswell och Dover Priory på måndag.
Network Rail har rekommenderat passagerare som planerar att resa under den tre dagar långa semesterhelgen för att kontrollera tidtabeller.
Järnvägspassagerare som använder Brighton Main Line kommer att drabbas av störningar under bankhelgen från ingenjörsarbete.