Affleck tiene ascendencia irlandesa, escocesa, alemana e inglesa (el apellido Affleck es escocés), y es primo lejano del actor Matt Damon.