Jakob Andreas Wille var sønn av sogneprest Hans Amundsen Wille og halvbror til den 20 år eldre topografiske forfatter og sogneprest Hans Jacob Wille.