C большой вероятностью его раздражает вся ситуация в целом. И жена ему поднадоела и успела разонравиться, и мужем ему быть надоело, а тут еще чужой ребенок. А бросить как бы некрасиво. И вот то, что не встанешь и не уйдешь - его и раздражает, вымещает на ребенке.