Desde luego que es tu derecho, pero reducirías tus opciones de contratación. Si tu entrevistador quiere grabar la entrevista es para poder observar con posterioridad algunos detalles que pudieran habérsele pasado inadvertidos en directo.