明嘉靖二十七年（1548年）正月二十九日，为无锡名门望族之后，安如山之孙，安希尧之子，其曾祖为明朝巨富安国。居无锡之胶山，因胶山有涤砚亭一座而自号砚亭居士。万历年间太学生，然而科举场中不得意，一生未入仕途，但是工诗、善书法、又能绘画，书临曹娥碑，山水摹黄公望、倪瓒，与汤显祖友好。与同时代诗人叶之芳合称为“诗坛二芳”。着有《西林全集》二十卷，并留有画作《仿倪疏林远岫图轴》，现存于无锡博物院。
轶事.传世名作《富春山居图》曾被安绍芳私人珍藏。在《富春山居图·无用师卷》上铃有「安绍芳印」