Потому что вы испытываете чувства не к реальному человеку, а к образу который сами себе создали.В те моменты когда чел соответствует этому образу -  чувства возвращаются, как только перестает соответствовать - чувства уходят.Учитесь избавляться от иллюзий и  принимать живого человека целиком. Тогда и избавитесь от этих качелей