Do not build the virtualenv if not using it