Дома - это где у него определено проживание. И это явно не с отцом, коли он у него только на выходные появляется. Дома - это где его комната или угол и его вещи, которыми он может распоряжаться по своему усмотрению. В случае автора - все, что интересует парня в доме отца (я не знаю, отца ли этот дом формально, но, скажем, где отец проживает) - это сам отец. Ни мачеха, ни брат, ничего другого ему там не нужно и не интересно. И там ему не дом, и теперь уже и не все рады.