Andreas Odfjell var sønn av skipsfører Berent Daniel Olsen Odfjell og Anna Severine Tønnesen. Han ble i 1913 gift med Margrethe Bøschen (f. 1889). Andreas Odfjell er oldefar til forretningsmannen Carl Fredrik Seim.