起初当小吏，县长孙河非常赏识他。后来孙河当将军，可以自选长吏，于是表吾粲为曲阿丞，后来又迁任长史，任内有治绩及名气。虽然出身寒微，但都与陆逊、卜静等名士齐名。孙权当车骑将军时，征召吾粲作主簿，先出任山阴令，后转任参军校尉。黄武元年（222年），吾粲与吕范、贺齐等率水兵于洞口与曹休率领的魏军交战。战事结束后迁任会稽太守。后来招募兵众，拜昭义中郎将，与吕岱一起讨平山越。后来入朝为屯骑校尉、少府，后迁任太子太傅。不久，太子孙和及鲁王孙霸之间的二宫之争触发，朝中官员分成两派。吾粲坚持要确立嫡庶之分，要求将鲁