Il passe ses trois premières années à Freiberg, ville que sa famille quitte pour Leipzig avant de s'établir définitivement, en février 1860, dans le quartier juif de Vienne. Freud y réside jusqu'à son exil forcé à Londres en 1938, après l'Anschluss . De 1860 à 1865, les Freud déménagent à plusieurs reprises avant de s'installer dans Pfeffergasse, dans le quartier de Leopoldstadt.