Hun ble født på Santo Tomás Hospital i Panama by. Hennes far var Simeon Wilfred Wilson fra St. Thomas in the East på Jamaica, og hennes mor var Dorcas Valenciana Bryan fra Portland i USA. Begge disse hadde flyttet til Panama for å jobbe innen byggenæringen. Faren etablerte et klesrenseri, Mr. Wilson’s Clean and Press, der Lilia hjalp til. De var til sammen åtte søsken, og Lilia var nest eldst. Hun dro på ferie til New York i 1961, men bestemte seg for å bli boende der, i Garment District, der hun jobbet med klesdesign. Hun jobbet med klær og mote til hun gikk av med pensjon.