Švitrigaila era uno dei figli di Algirdas, granduca di Lituania, e dalla sua seconda moglie Uliana di Tver'. La sua data di nascita risulta sconosciuta, ma si ritiene che fosse il figlio più giovane o il secondo figlio più giovane di Algirdas. Švitrigaila appare per la prima volta in politica nell'ottobre del 1382, quando assistette alla firma del trattato di Dubysa tra suo fratello maggiore Jogaila e i cavalieri teutonici. Gli storici ritengono che ciò indicherebbe che all'epoca Švitrigaila non aveva meno di 12 anni, per cui si potrebbe stimare la sua data di nascita prima del 1370. In un documento presentato al Concilio di Basilea, Ferrara e Firenze, Švitrigaila affermò che lui e Jogaila erano i figli prediletti di Algirdas. Prima della sua morte nel 1377, Algirdas consegnò il suo trono a Jogaila ma gli fece giurare di nominare Švitrigaila come suo erede. I rappresentanti di Jogaila non negarono apertamente l'intesa raggiunta, affermando invece che si trattava di un accordo raggiunto tra i due fratelli.