Catch numdifftools import error

Fixes $378