Er heiratete Livia geb. Gunszt, genannt Lilly (1895–1987), die aus Budapest stammte. Das Paar hatte drei Kinder: Eva Renata (1922–2001), später Köckeis-Stangl, Agatha Annemarie (1924–2015), später Sadler, und Hans Helmuth (1930–2001). Nach der Annexion Österreichs, bereits am 17. März 1938, wurde Otto Brill von der Gestapo verhaftet und die ältere Tochter der Schule verwiesen. Ihm wurde die Deportation in das KZ Dachau angedroht. Innerhalb weniger Wochen wurde seine Fabrik in der Taborstraße „arisiert“, das Wohnhaus in der Oberen Donaustraße enteignet und weitere Liegenschaften beschlagnahmt. Die drei Kinder konnten relativ rasch nach England flüchten, die Eltern folgten im Herbst 1938. Es gelang ihnen, zumindest einige Werke Kokoschkas und Schieles mit ins Exil zu bringen. Der Umfang der Brill’schen Sammlung lässt sich schwer abschätzen, doch zählten zu den Schwerpunkten sicherlich Herbert Boeckl, mit welchem die Familie persönlich befreundet war, Kokoschka und Schiele, überwiegend Arbeiten auf Papier. Keine Ausfuhrgenehmigung erteilten die NS-Behörden für zwei Zeichnungen von Albin Egger-Lienz, für drei Studien von Moritz von Schwind, Selbstbildnisse von Anton Faistauer, Anton Hanak und Max Slevogt sowie für zwei Wien-Ansichten von Rudolf von Alt. Die Albertina suchte im Sommer 1938 beim zuständigen Ministerium um Ankaufsgenehmigung an und erwarb danach die genannten Werke. Strittig sind noch heute die Provenienz für ein Skizzenbuch Boeckls und eine Zeichnung des Boeckl-Schülers Stefan Pichler, die sich nach wie vor im Besitz der Albertina befinden.