Так и идите к психиатру, если чувствуете. Детство и юность у вас адские, конечно , были. Но вам мироздание компенсировало сполна, дав хорошую семью. Поэтому нет у вас реальных причин к неврозу. Сумасшедший дед и мама, которая по психбольницам лежала и закончила суицидом - вот это да, тревожный сигнал. Поэтому к врачу, чтобы исключить душевные болезни. Если нет никаких генетических предрасположенностей и это исключительно память из детства, психотерапевт поможет.