本来、職務に関係ない質問には答えずとも問題ありません。公正な採用選考を行うためにも「応募者の適性・能力とは関係ない事柄で採否を決定しない」ということが厚生労働省のガイドラインにも定められています。そのため、明らかに不適切な質問をされて答えたくない場合は、「仕事と直接関係ない質問なので、控えさせていただけますでしょうか？」と、やんわりと断りを入れるとよいでしょう。
ただし、企業としては、共に働くにあたり、人となりを知るために、必ずしも職務に直接関係しない質問をすることもあります。自分を知ってもらうためのいわば自己紹介の延長として、答えることに抵抗がなければ答えても構いません。