Han ble født i Ginnerup på Djursland. Da han var seks år gammel, flyttet familien til gården Hviddinglund i Vorning, nord for Hammershøj i Viborg kommune. Anders og hans to yngre brødre ble oppdratt til flid, nøysomhet og høflighet, i «en også etter den tids normer en strengt patriarkalsk familie». Faren var også lokalpolitiker. Anders’ mor døde i 1985, og faren overlot gården til en av Anders’ brødre. Faren giftet seg senere på nytt.