Да просто вы его картину мира нарушаете. Совместная трапеза для него символ того, что все идет как надо. А тут вы со своим силосом и постным видом, это бесит почти что на подсознательном уровне, а не потому что он не хочет, чтобы вы похудели. Подстраивайте свою диету под это обстоятельство, ешьте при нем более или менее нормально и не декларируйте свое похудание.