A pesar de que en Dinamarca su familia paterna era ganadera, su padre se dedicó a los negocios y, con la esperanza de hacer fortuna, en 1960 se trasladó con su familia (Viggo tiene dos hermanos más jóvenes) a América del Sur.