Add stale cache cleanups per #4067