Да не на догадках.  Все знали фамилии всех, когда вы идете в паспортный стол, а тем более в ЖЭК, где те же лица годами, да и живут в том же районе, вы знаете, кто супруг, где учатся дети и прочее.  Нет, сплошные душки и зайки не живут.  Но то, что люди реально боялись голос повысить - факт.