Han har vært gift med den amerikanske folkesangeren Debbie Green som bidro med gitar-, piano- og backingvokal på flere album Andersen ga ut mellom 1965 og 1975. De har datteren Sari Andersen som også er låtskriver og sanger. Datteren er også med på hans album (1998) og (2002). Hun ga i 2018 ut albumet .