1928年，杨德豫出生在北平市，父亲是教育家杨树达，母亲张家祓，还有2个兄弟杨德庆、杨德嘉。杨德豫早年爱好美术，曾在湖南大学、中央大学（今南京大学）、清华大学学习外国语言。1949年，杨德豫加入中国人民解放军。更名为“江声”。1958年，反右运动，上山下乡运动，他被打成右派，被下放湖南大通湖农场。1978年，粉碎四人帮后，杨德豫被召回，担任湖南人民出版社编辑。1990年，杨德豫担任湖南文艺出版社编辑。2013年1月23日中午，杨德豫因食道疾病在武汉161医院去世。
风格.杨德豫主