En 1928 sus padres se mudaron a Santa Mónica, Estados Unidos, donde Viertel creció junto a sus hermanos Hans y Thomas.