4年建立时治所在衡州（衡阳城）。大历三年（768年）迁到潭州（长沙城），辖区增加了郴州和连州，共统领7州。
历史.大历三年（770年），当地不满治所迁往长沙的湖南兵马使臧玠发动兵变，杀死潭州刺史兼湖南观察使崔瓘。当时避乱于长沙的杜甫不幸遇到这场兵变，逃往衡州，途中写下了《逃难》、《入衡州》等诗。衡州刺史阳济、道州刺史裴吼、澄州刺史杨子琳等纷纷起兵，讨伐臧玠。当年6月，朝廷又以羽林大将军辛京杲来任潭州刺史兼湖南观察使。这才平息了这场兵乱。 臧玠兵变意味着湖南的地方割据势力已经初见