Apja Varga Benjámin, anyja Vida Magdaléna. Apja az 1848–49-es magyar szabadságharc bukása után emigrált az Egyesült Államokba, előbb Iowa államban telepedett meg, majd San Antónióban (Texas) nyeregkészítő műhelyet nyitott, össze tudott gyűjteni annyi pénzt, hogy ki tudta hozatni fiait, akik aztán az ő műhelyében segítkeztek. Varga Benjámin fiai közül négyen, köztük a legidősebb fiú, Varga János, s a fiatalabbak, Varga József, Varga Pál vettek részt az amerikai polgárháborúban a déliek oldalán, lakhelyükből adódóan harcoltak a déliekkel, hiszen Texas az Amerikai Konföderációs Államok közé tartozott. Varga Sándor önkéntesnek jelentkezett a 3. texasi gyalogezredbe, amelyet Luckett ezredének is neveztek.