Westhoff var sønn av rittmester, luttenist og kurfyrstelig saksisk posaunist Friedrich von Westhoff, opprinnelig fra Lübeck.