Affleck nació en Falmouth, Massachusetts, segundo hijo de Christopher Anne "Chris" Boldt, una empleada de una escuela del distrito y profesora, y de Timothy Byers Affleck, un trabajador social, conserje, mecánico, camarero y ex actor de la Compañía teatral de Boston.