Anders Samuelsen er sønn av gymnaslærer og folketingsmedlem Ole Samuelsen og husholdningslærer Anna Holm. Kultur- og kirkeminister og folketingsmedlem Mette Bock (født Samuelsen) er hans søster. Anders Samuelsens foreldre skiltes da sønnen var seks år gammel, og moren ble senere gift med en prest på Samsø, hvor gutten vokste opp sammen med en yngre bror. Søsteren og to andre brødre ble værende hos faren i Horsens. Anders Samuelsen fikk et svært dårlig forhold til sin stefar, som han mener bedrev psykisk terror. Til tross for at han var en populær gymnaslærer, fikk faren alkoholproblemer som følge av en familietragedie, skilsmissen og nederlag i et folketingsvalg. Anders Samuelsen møtte etter sigende opp i stefarens begravelse for å «sikre at det kom nok jord oppå». Derimot har han kalt faren sitt største politiske forbilde.