Den misstänkte brukade arbeta i hemmet, nära Montpellier, en källa nära utredningen berättade AFP nyhetsbyrå.
Åklagare Christophe Barret sa att motivet inte var klart men det var inte kopplat till "islamistisk terrorism".
Frankrike befinner sig fortfarande i ett formellt undantagstillstånd sedan en våg av terroristattacker förra året.
Den misstänkte, 47, greps i närheten av sitt hem, omkring 15 kilometer från Montferrier-sur-Lez, staden där attacken utfördes.
Han arbetade i hemmet för flera år sedan, och är nu arbetslös, sade källan.
Vittnena sade att angriparen var beväpnad med ett hagelgevär och en kniv när han kom in i hemmet på torsdag kväll.
En sjuksköterska väckte larmet efter att ha rymt hemifrån, men när polisen kom fram fann de den döda kvinnans kropp gungad och bunden utanför byggnaden.
Den 54-åriga kvinnan, som arbetade i hemmet, har inte namngetts.
Hemmet tillgodoser tidigare missionärer med tidigare tjänst i Afrika och flera nunnor.
Invånarna "är mycket äldre med en genomsnittsålder på 75 år, även om några är över 90 år", sade en kommunalrådsledamot, och tillade att många behöver hjälp att gå.
En före detta soldat, som misstänks för att ha knivhuggit en kvinna till döds i ett ålderdomshem för tidigare missionärer, har arresterats i Frankrike.