「南家」の称は、武智麻呂の邸宅が弟房前の邸宅に対し南に位置したことに由来する。