Pavel Fjodorovitsj Smerdjakov var sønn av en stum kvinne som døde under fødselen. Det ryktes at Pavel var den uekte sønnen til Fjodor Pavlovitsj. Han ble oppdratt av Fjodor Pavlovitsjs betrodde tjener Grigorij Vasilijevitsj Kutuzov, og hans kone Marfa. Han har vist seg å være intellektuell allerede som barn, etter å ha engasjert seg i diskusjoner mot Grigorij, hans tidligere lærer, noe som førte til en gjensidig motvilje mellom de to.