Arājs ble født den 13. januar 1910 på det lille stedet Baldone utenfor Riga. Moren hadde delvis tysk-baltisk bakgrunn (Viktors selv snakket lite tysk før krigen). Faren tjenestegjorde i russiske styrker under første verdenskrig og havnet i Kina etter den russiske borgerkrigen, hvorpå han kom tilbake til Latvia med kinesisk kone. I 1927 skilte faren seg fra Viktors mor. Under første verdenskrig ble familiens bolig og besteforeldrenes gård ødelagt.