Koss var født i Argentina. Hans far var en nordmann som jobbet i shipping, hans mor var argentinsk. Begge foreldrene døde mens han var barn, og han vokste opp hos slektninger i Oslo.