libhb: Add filter parameter validation.



git-svn-id: svn://svn.handbrake.fr/HandBrake/trunk@6447 b64f7644-9d1e-0410-96f1-a4d463321fa5