Как пишет Хэннсберри, «с наступлением 1940-х годов актёр подписал контракт с "Warner Bros.", показав свою аристократическую осанку в таких популярных исторических фильмах», как «Бригэм Янг» (1940), «Дорога на Санта-Фе» (1940), где Олсен сыграл генерала Роберта Ли, и «Один шаг в раю» (1941), который был номинирован на «Оскар» как лучшая картина. Менее успешными для Олсена были такие «провальные», по словам Хэннсберри, картины, как слабая военная комедия «Три сына при оружии» (1941), музыкальная шпионская пародия «На корабле» (1942) и бессодержательный фильм «Мой любимый шпион» (1942) с руководителем оркестра Кэем Кайзером в главной роли. В том же году в удачном фильме нуар «Стеклянный ключ» (1942) Олсен сыграл сенатора Ральфа Генри, который в надежде завоевать дополнительную поддержку на губернаторских выборах, сближается с влиятельным подпольным авторитетом Полом Мэдвигом (Брайан Донливи), который в свою очередь решает встать на путь прогрессивных реформ. Как пишет Хэннсберри, «амбициозный Генри без всякого стеснения использует Мэдвига в своих целях, говоря своей дочери (Вероника Лейк): „Поддержка Пола будет означать для меня губернаторство. Ты должна быть милой с ним, Джанет, по крайней мере, до конца выборов“». Когда сына Генри находят убитым, подозрение первоначально падает на Пола, однако настоящим виновником преступления оказывается сам сенатор, который случайно убил сына во время ссоры, обвинив его в том, что тот своими аморальными поступками рушит его политическую карьеру. Как отметил Хэннсберри, фильм «получил высокие оценки критики, один из которых назвал его „увлекательным детективом“».