Da de flyttet inn i det hvite hus var det en offisiell sørgeperiode, men selv etter den tok slutt var det sosiale livet rundt Fillmore-administrasjonen dempet. Abigail led av en skadet ankel som aldri ordentlig grodde, hun kunne derfor ikke stå i lange perioder av gangen. Hun betrodde derfor mange av de rutinemessige sosiale pliktene som førstedame til datteren. Hver fredag kveld ble det i det Hvite Hus arrangert en mottakelse, hvor hun måtte stå i timevis og hilse på og ha sosialt samvær med gjester.