Спросите напрямую и не мучайтесь  - это ему должно быть не удобно, что не отдал своевременно деньги, а не Вам. Меня воспитывали точно так же, как и Вас в вопросах долгов, но жизнь воспитание откорректировала  Стыдно не отдавать  долги, а мягко (для начала) напомнить, что Вам должны нормально - это Ваши деньги и Вы их не печатаете.