Хорошо, он - козел. Но у вас все равно договор займа с ним. Вы получили его имущество в свою собственность, не заплатив за это денег/заплатив часть денег. Остальные деньги вы ему должны, т.е. фактически он вам их занял. А то, что вы "из принципа" не хотите действовать с ним по закону, опускает вас до его же уровня.