West End
캘리포니아주로 이주한 후, 렘리는 자신의 가족의 주거로서 비벌리 힐스 베네딕트 캐니언 드라이브에 영화의 개척자 토머스 인스의 전 저택을 매입하였다. 그 집은 1940년대 초반에 철거되었다. 렘리는 또한 허드슨 강 근처 리버사이드 드라이브에 한 블록 떨어져 뉴욕 웨스트엔드 애버뉴 465 번지에 자신과 자신의 2명의 자식 - 칼 주니어와 로자벨을 위하여 큰 아파트를 유지하였다.