Ну, эта дилемма так или иначе встает перед всеми плотно занятыми матерями, вы - не исключение. Но я думаю, что основная причина вашей раздражительности к ребенку, если не касаться прошлого -  ваше чувство вины. Вы вините себя, что не можете уделять ему достаточно времени,  вы перед ним  ощущаете себя вечно виноватой, и поэтому вас общение с ним напрягает и раздражает. Цепочку выкидываем - получается сын= раздражитель. И в результате страдает уже не количество общения, а его качество.  Потому что лучше с ребенком провести час времени с удовольствием, чем 3 - с раздражением.