Zlomislić est né, de parents croates, dans la région de Vojvodina pendant la seconde Guerre mondiale. Son père fut tué par les nazis, à la fin de 1944, alors qu'il se battait avec les partisans yougoslaves contre l'occupation allemande de la Yougoslavie. Sa mère, Rose, fut envoyée de force en Allemagne en 1943 pour travailler pour les nazis et Vilim fut placé dans un orphelinat. Après la guerre, elle a épousé Frederick Andrews, un Canadien travaillant pour une agence des Nations Unies dans un camp de personnes déplacées. Le couple a ensuite déménagé à Toronto. Grâce à l'aide de la Croix-Rouge Vilim est retrouver et amener au canada en 1952.