Madsen ble født i Chicago i Illinois, av Elaine (født Melson), en Emmy-vinnende poet, produsent og dramatiker som ofte jobber for PBS, og Calvin Madsen, en brannmann. Madsens mor forlot en karrière i bedriftsmarkedet for å satse på en karrière som forfatter. Virginias bror er skuespiller Michael Madsen. Hennes besteforeldre på farssiden var dansk, og hennes mor har engelsk, irsk, skotsk, tysk og fjernt indianer-amerikansk bakgrunn. Madsen er utdannet ved New Trier High School i Winnetka, Illinois.