git submodule rm

.gitmodulesファイルから該当する行を削除
[submodule "path/to/hoge"]
path = path/to/hoge
url = git://github.com/hoge/hoge.git
.git/configファイルから該当する行を削除
[submodule "path/to/hoge"]
url = git://github.com/hoge/hoge.git
で
% git rm --cached path/to/hoge
% git commit