Ο Φρανκ Ντάραμποντ γεννήθηκε σε ένα στρατόπεδο προσφύγων στο Μονμπελιάρ της Γαλλίας, κοντά στα σύνορα με την Ελβετία. Οι γονείς του είχαν εγκαταλείψει την Ουγγαρία μετά την Ουγγρική Επανάσταση του 1956, μαζί και με τους 5 αδελφούς του, τις 4 αδελφές του και τρία εξαδέλφια του. Με τον Φρανκ σε νηπιακή ακόμη ηλικία, οι οικογένεια εγκαταστάθηκε στις ΗΠΑ: στο Σικάγο και λίγο αργότερα στο Λος Άντζελες.