Los padres de Foster, a quienes él describe como «hippies de espíritu libre y opositores de la guerra de Vietnam», se mudaron al pequeño pueblo de Fairfield, Iowa, cuando Ben tenía cuatro años, luego de que su casa en Boston fuera robada mientras la familia estaba presente.