詹姆斯·诺克斯·波尔克
19世纪40年代后期本杰明淡出政坛，把精力投入种植园和律师事业。1847年，与儿子一起到新奥尔良生活的丽贝卡死于黄热病疫情。1848年，本杰明担任辉格党选举人，把票投给当选美国总统的路易斯安那州种植园主扎卡里·泰勒将军。他与其他路易斯安那州同胞陪同泰勒前往哥伦比亚特区参加新总统就职典礼，本杰明还出席詹姆斯·诺克斯·波尔克总统离任前的国宴。1850年泰勒去世后接掌白宫的米勒德·菲尔莫尔提名本杰明出任加利福尼亚北区联邦地区法院法官，但他在参议院确认提名后谢绝，觉得3500美元年薪实在太少。本杰明次年在新奥尔良协助联邦检察官起诉意图在古巴激起当地人起义反抗西班牙统治的美国冒险家，但两起案件都以流审告终。