式油漆，屋面为青黑色琉璃瓦。主楼檐口下立横匾，上书“杜甫江阁”四个大字。 主阁内有杜甫纪念大厅，纪念大厅正中立杜甫塑像，外墙2．1米高开窗，实墙上用绘画介绍诗人生平，大厅两侧布置有张大千、林散之等书画家的作品。
杜甫与潭州.唐代大诗人杜甫于大历三年（768年）秋，从蜀地前往潭州投奔好友——即将调任的潭州（长沙）任刺史的好友韦之晋；不料等杜甫赶到潭州时，韦之晋已去世，贫病的杜甫在长沙度过了人生最后两个年头。杜甫初至潭州之时，寄居舟中，船常停在南湖港；后来，杜甫在小西门外的湘江边租