Madison ble født Holly Madison Cullen i Astoria i Oregon, og er den eldste av tre søsken. Hun har en yngre søster Stephanie og en yngre bror Joe. Hennes fars arbeid i tømmer førte hennes familie ut på reise. Hun vokste opp i Craig i Alaska, før hennes familie flyttet hjem til Oregon. Hun gikk på Portland State University i to år og studerte psykologi.