Feltehetően részt vett a magyar szabadságharcban, hiszen az 1848–49-es magyar szabadságharc bukása után Újházy Lászlóval elhagyta szülőföldjét, Angliába, majd Amerikába emigrált. A "Mount Stuart Elphinstone" nevű hajó fedélzetén szelte át az Atlanti-óceánt. Egy hajókabinban utazott Kozlay Jenővel, aki később az amerikai polgárháborúban az unionisták oldalán harcolt. Vidor Károly 1850 február 25-én érkezett meg New York-ba, három évig maradt ott. 1855-ben egy texasi Galveston nevű kicsi, de dinamikusan fejlődő helységben telepedett meg. Itt egy sikeres kereskedő és földbirtokos, Lent Munson Hitchcock titkáraként működött.