Set actual values on importances