村庄被弃，吴姓族谱中四代祖先无从稽考，直至1724年才定居下来。今日村庄面向的新蒲岗，昔日仍未填海，村民常受海盗滋扰，在村庄加建围墙在原址重建家园，故有「衙前围村」之称。村中央正是天后庙，约18世纪或更早时兴建；围村正门有「庆有余」牌扁，村民声称是由皇帝所赐，惟不可考。全盛时期，衙前围村与沙浦村、衙前塱村、隔坑村、石鼓垄村、打鼓岭村、大磡村，联成一线，合称「衙前围七约」，而当中以衙前围村为众村之首，但都市重建压力下，现时只余下衙前围村得以保留。　二次大战时，日军扩建村庄附近的启德机场，一度命令拆