华学堂毕业后考取公费留学美国，就读于美国康奈尔大学。1918年获康奈尔大学建筑学学士学位。后进入纽约亨利·墨菲（Henry Murphy）建筑师事务所工作。1921年夏，吕彦直返回中国，进入墨菲事务所上海分所工作。1921年初，吕彦直与黄檀甫在巴黎卢浮宫邂逅并结下深厚友谊。翌年3月二人共同创办了“真裕公司”，吕彦直主内搞设计，黄檀甫跑外承接业务。1925年9月20日吕彦直设计的中山陵获得首奖，受聘为中山陵的建筑师，从此名声大振。两日后他对外宣布设立“彦记建筑事务所”，实际身份是真裕公司。1926