Colleget er oppkalt etter den Anglo-Saksiske Saint, Hilda of Whitby og ble grunnlagt i 1893 som et college for kvinner. Det var det siste colleget i Oxford som var åpent bare for kvinner. I 2008 åpnet det også for mannlige studenter. Nå har det nesten like mange menn og kvinner, både på lavere og høyere nivå.