Swank has called her mother the inspiration for her acting career and her life.
Starši Hilary Swank so se ločili, ko je imela ona trinajst let in njena mama, ki je podpirala hčerino željo po igranju, se je preselila v Los Angeles, kjer sta živeli kar v avtu, dokler ni njena mama zaslužila dovolj denarja, da je lahko najela stanovanje.