Заметьте,  ВСЕ, кроме  пожалуй, одного пишут "дети не мешают", а не "я хочу только с детьми".   Хотя  вопрос был  именно о хотениях, а  не о том, что  мешает.   Чувствуете разницу в коннотации? То-то и оно. Все же желаемое и приемлемое - не одно и то же.