Affleck nació en Berkeley (California), hijo de Anne Christine "Chris" Affleck, una maestra empleada en el distrito escolar, y de Timothy Byers Affleck, trabajador social, conserje, mecánico, camarero, escritor, director y actor de la Compañía de Teatro de Boston.