Это вполне может быть связано не с непосредственным негативным общением с пьяными, а с чьей-то фразой про это, с отношением к алкоголю в семье и/или пьющим людям. Возможно, видели когда-то неприязненное выражение на лице мамы при виде алкоголика или выпившего. Вы можете даже об этом не помнить.