А с какого перепугу он вам время дает? Он вам кто? Хозяин? Начальник? Бог и царь? Предложите ему сесть и обсудить возникшую проблему. Объясните, что вам важно и нужно работать, в том числе, чтобы он позднее не начал СНОВА говорить вам "ну ты же все равно дома сидишь и ничего не делаешь...", "вышла бы что ли на работу..." и вообще попросите его (настойчиво) сменить свой тон. Ищите решение вместе. Кто ищет, тот всегда найдет.