Как вам сказать, поскольку изначально деньги на квартиру дал брат, это меняет ситуацию. Конечно, ваш вклад в улучшение отрицать нельзя, но вот, скажем, брат дал 100 единиц. Вы вложили 50 единиц и вернули брату "половину" - это сколько(??),  пусть 100/2 - 50 единиц. Брат остался в минусе на  50 единиц. Так что требования его не совсем беспочвенны.