Robert Ficos far, Ľudovit Fico, var en gaffeltruckfører, og moren hans, Emilie Ficová, arbeidet i en skoforretning. Han har to søsken. Hans bror Ladislav er byggentreprenør, og hans søster Lucia Chabadová, som er fjorten år yngre, er aktor i domstolene. Fico vokste opp og bodde med sin familie i småbyen Hrušovany. Da han var seks år gammel flyttet de til den nærliggende byen Topoľčany.