pmfp 4.1.11
A simple package manager and scaffold for python & some other languages.
License: MIT License
Keywords: config,environment variable,command line arguments,config file

# pmfp

+ version: 4.1.10
+ status: dev
+ author: hsz
+ email: hsz1273327@gmail.com

## Description

一个用于管理项目及相关开发的工具

keywords: tool,project_manager

## 特点

+ 可以独立使用功能模块
+ 根据模板快速构建项目
+ 简单的编译和打包指令
+ 快速测试
+ 文档维护,支持github page

## 注意

+ 要支持grpc或者protobuf需要安装相关依赖
  
    + 通用的编译工具:protoc
    + python: `grpcio`,`grpcio-tools`
    + node: `@grpc/proto-loader`,`async`,`google-protobuf`,`grpc`,`lodash`,`minimist`
  
## Install

`python -m pip install pmfp`

## 使用

pmfp现在被设计为两个部分:

1. `项目管理部分`用于快速根据托管在git仓库上的模板仓库项目构造项目
2. `调用功能部分`用于为不同的项目提供特定功能

### 项目管理

项目管理使用的子命令为`project`,其整体设计思路是这样:

1. 借助git仓库来保存组件模板.
2. 每个组件模板使用jinja2作为模板引擎,允许使用其模板语法
3. 用于保存组件模板的git仓库称为资源包(source pack)
4. 资源包需要使用一个文件来声明其中注册的组件和默认行为,默认这个文件为资源包根目录下的`.pmfp_template.json`文件.其具体schema可以查看项目的`protocol.py`文件中的`TEMPLATE_INFO_SCHEMA`对象定义
5. 如果资源包声明文件中`template_type`不为`components`则说明这是一个模板资源包,我们就可以根据其作为模板构造项目.
6. 资源包中每个组件都有一个`source`字段,这个字段用于声明组件的位置,如果其中有`//`则说明它是引用的另一个资源项目的组件
7. 根据模板包构造项目只要指定一个资源包路径即可,其形式为`[[{host}::]{repo_namespace}::]{repo_name}[@{tag}]`
8. 如果是已有项目要添加组件,则可以使用`[[{host}::]{repo_namespace}::]{repo_name}[@{tag}]//{component_path_str}`
9. 默认的host为`github.com`,默认的repo_namespace为`Project-Manager-With-Git`,默认的tag为`latest`,如果tag为latest它会拉取master分支的head.默认的资源仓库可以通过修改`~/.pmfprc/config.json`来修改,

另外我们还可以使用`cache`子命令管理资源包缓存

#### 资源仓库类型

本项目将所有资源仓库类型分为如下几种:

1. `socket`,专指基于网络的通讯程序,包括http服务,websocket客户端与服务,各种rpc客户端与服务,以及zeromq,webrtc等
2. `GUI`,专指图形界面
3. `task`专指主动执行的任务,比如一般脚本,定时任务
4. `watcher`监听器,被动监听事件的任务,比如监听文件系统的任务,监听消息中间件的任务
5. `module`模块,必须被其他程序调用的程序
6. `components`组件集合,本身并不能执行
7. `doc`文档型组件

#### 资源仓库版本标签

资源仓库的分支和tag名都可以作为版本标签,但有两个特殊标签会进行更新操作,其他标签一旦下载到本地就不会更新了.因此构造资源仓库时建议使用git的tag维护稳定版本模板.

两个特殊标签为:

+ `latest`会拉取master或者main分支.这个标签应该保证为最新的可用版本
+ `dev`会拉取dev分支,这个标签意为开发版本,并不需要保证是可用版本

#### 项目语言及对应的环境

本项目目前之前如下语言和执行环境组合:

+ language为`py`
    + env为`venv`,即python的标准库venv生成的c python虚拟环境
    + env为`conda`,即anaconda/miniconda生成的c python虚拟环境
    + env为`pypy`,即python的标准库venv生成的pypy虚拟环境

+ language为`js`
    + env为`node`,即以node为执行环境的javascript的babel标准环境
    + env为`webpack`,即以浏览器为执行环境,使用webpack编译项目的javascript的babel标准环境

+ language为`cython`
    + env为`venv`,即python的标准库venv生成的c python虚拟环境
    + env为`conda`,即anaconda/miniconda生成的c python虚拟环境

+ language为`go`
    + env为`gomod`,即golang的gomod模式管理项目

+ language为`C`
    + env为`cmake`,即使用cmake作为c语言的项目管理工具

+ language为`CXX`
    + env为`cmake`,即使用cmake作为c语言的项目管理工具

+ language为`md`
    + env为`http`,即使用markdown作为目标语言托管到http服务器上的纯文档环境

### 直接调用功能

支持直接调用功能的子命令包括:

+ `build`打包项目到可分发状态.
+ `doc`快速构造项目的文档
+ `docker image`快速构造docker镜像
+ `docker compose`快速构造docker部署配置
+ `env`快速构建项目的独立执行环境
+ `grpc`快速构造了grpc的客户端和服务端
+ `http`用于构造静态http服务和构造http请求和压测
+ `proto`用于快速构建和编译protobuf文件
+ `schema`用于校验`jsonschema`
+ `test`用于对项目进行测试
+ `requires`用于管理依赖

#### `build`打包项目到可分发状态

这条命令的含义为--打包项目到可以分发的状态.不同编程语言可以打包到的状态并不相同:

+ golang:

    + `exec`可执行文件
    + `alib`静态库
    + `dlib`动态库(linux专用)
    + `zip`源码压缩归档

+ python:
    + `exec`,可执行的`.pyz`文件
    + `zip`,wheel归档
# v4.1.11

## bug修复

+ 修复project new 拉取latest标签时无法拉取master分支的问题

# v4.1.10

## 新增特性

+ `grpc build`子功能添加对grpc-gateway的支持,在--language设置为go时如果web设置为True则会编译grpc-gateway的支持文件

# v4.1.9

## bug修复

修复go 1.18+后`require(`会有多个的bug

# v4.1.8

## 新特性

+ project子功能中对dev分支的特殊支持,现在dev分支的行为也会和master分支一样

## 变动

+ 修改docker-compse生成器中kafka和etcd等的配置,现在的常用服务包括"redis", "postgres", "zookeeper", "kafka", "etcd", "clickhouse", "cassandra", "envoy", "minio"

# v4.1.7

## bug修复

+ `doc build`中`doc_source_dir`参数现在有了默认值`""`

+ 现在没装node或者go也可以使用了

# v4.1.6

## bug修复

+ `doc new`针对go语言的接口参数修正了字段含义弄混的bug
+ `doc build`针对go语言的接口参数修正了字段含义弄混的bug

## 新特性

+ `project add`和`project new`中会处理模板文件夹中文件或文件夹名中含有`_ref_`和`_fre_`的对象,将他们的名字也作为jinja模板处理
+ `doc new`新增一个参数`is_web`,当language为go且is_web为真时执行`swag init --parseDependency --parseInternal`
+ `doc build`新增一个参数`is_web`,当language为go且is_web为真时执行`swag init --parseDependency --parseInternal`

# v4.1.5

## bug修复

+ `grpc build`针对go语言的的接口更新到满足`protobuf-go@1.26+`和`protoc-gen-go-grpc@v1.1+`

# v4.1.4

## bug修复

+ `grpc build`针对C++的方式行为修改为类似python的方式,`to`会被自动加上指定proto文件的文件名,当路径不存在时会创建
+ `grpc listservice`删除了无效参数`service`

# v4.1.3

## 变动

+ `grpc build`针对C++的方式行为修改为类似python的方式,`to`会被自动加上指定proto文件的文件名

## bug修复

+ 修正`proto build`和`grpc build`因为`source_relative`字段改动造成无法使用的问题

# v4.1.2

## 变动

+ `proto build`命令针对js语言增加了参数`js_import_style`
+ `proto build`命令针对go语言增参数`source_relative`改为`go_source_relative`
+ `grpc build`命令针对js语言增加了参数`js_import_style`,`web`,`web_import_style`和`web_mode`来细化js模块的使用环境
+ `grpc build`命令针对go语言增参数`source_relative`改为`go_source_relative`
+ `grpc build`命令现在加回了对c++的支持

# v4.1.1

## 变动

1. `grpc build`接口变动,新增字段`serv_file`用于指定定义rpc接口的文件.针对python的编译会将两个文件放在`{serv_file}_pb`模块下
2. 删除`grpc build`使用的jinja2模板
3. 暂时取消了`grpc build`对c++的支持

## bug修复

1. 修复`grpc build`对python时会一直往`__init__.py`中写东西的bug

# v4.1.0

## 新增特性

1. 现在模板配置的`template_keys`字段支持新字段`ask(boolean)`,用于让pmfp提示用户输入key的取值
2. go语言的`env new`可以指定依赖了

## 变动

1. grpc现在不再用于构造基于模板的项目,grpc项目现在也将使用project命名构造.grpc的build命令将只用于编译grpc的proto到目标语言的模块
2. go语言的`require install`命令当不指定`-n`时使用`go mod tidy`更新依赖

## bug修复

1. 修复`docker image build --push`报错的问题
2. 修复`docker image build`逻辑错误

# v4.0.10

## bug修复

1. 修正`project new`时参数覆盖顺序的问题,现在越浅层会覆盖深层

# v4.0.9

## 改进

1. 改进了grpc query和grpc stress的使用,`-d/--payload`现在指向一个写着请求json的地址,默认为`query.json`,新增`-s/--service`,用户不再需要记怎么将service和method组合了

# v4.0.8

## bug修复

1. 修正了`env new`无法给已经初始化过的项目创建执行环境的bug
2. 修正了`project as_temp`无法转换dockerfile和docker-compose的问题
3. 修正了`project as_temp`转换文件后source字段不加`.jinja`的问题
4. 修正了`project new`和`project add`不会将项目信息作为参数的问题

## 改进

1. 新增快捷命令`install`相当于`requires install`
2. 新增快捷命令`uninstall`相当于`requires uninstall`
3. 命令`build`和`pack`合并,重新整理,这条命令现在用于打包项目到可分发状态
4. 命令`env new`针对python,当对应参数没有填时会添加默认的`tests_require`和`setup_requires`
5. 命令`env new`针对cython,当对应参数没有填时会添加默认的`tests_require`和`setup_requires`
6. `project new`现在当组件不存在时会提示是什么组件

# v4.0.7

## 改进

1. 修改了project new的执行顺序,现在先拉取模板再创建执行环境
2. 现在project new执行报错后会删除这步操作时创建文件和文件夹
3. 现在project new执行过程中使用Ctrl+Break或者Ctrl+C(KeyboardInterrupt, SystemExit)终端执行时也会删除这步操作时创建的文件和文件夹

# v4.0.6

## bug修复

1. 修正了version命令展示过期版本问题
2. 修正了project add和project new时无法使用自定义key作为路径参数的bug
3. 修正了project new时外部组件不能使用模板定义的参数的问题

# v4.0.5

## bug修复

1. 修正了gomod中加载项目依赖信息的错误
2. 修正了project as_temp在没有依赖时也会添加null的错误

# v4.0.4

## bug修复

1. 修复依赖错误

# v4.0.3

## bug修复

1. 修复了python项目创建时的bug
2. 修复依赖不全安装报错的bug

# v4.0.2

## bug修复

1. 修复了python新建环境时报错的bug

## 改进

1. 修改了模板的类型枚举
2. `project as_template`子命令现在也会生成测试依赖了
3. 修改了`env new`的参数,改为必须有language而非env
4. 修改`project new`,现在env不是必填的参数,如果指定了template则可以不再指定language,如果没有则必须指定language

# v4.0.1

## bug修复

1. 修正了cache clean命令无法执行的bug

## 改进

1. 修改protocol,支持不声明language的组件
2. 修改cc和cxx为全局项目配置
3. 修改golang_version,python_version,node_version为全局项目配置

# v4.0.0

4.0.0版本在整体架构和使用方式上都做出了大规模修改,现在多数功能都可以脱离`pmfprc.json`单独执行.`pmfprc.json`的作用现在只是一个存储默认参数的特殊文件,没有也可以执行.同时改用git仓库作为模板保存工具,从而增强扩展性同时减小pmfp的大小

## 新特性

1. 功能性操作全部不再依赖`pmfprc.json`
2. 使用git仓库作为模板保存位置.

## 移除的特性(后续版本会回来)

1. 移除对python 3.6以下的支持,本工具必须使用python3.6以上的版本

MIT License

Copyright (c) 2020 Python-Tools

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.