Toorak har navnet sitt fra Toorak House som er et herskapshus i området. Toorak House ble i 1854 residens for den første guvernøren i Victoria Charles Hotham og hans etterfølgere frem til Government House i Kings Domain sto ferdig i 1876.