ボザール様式
オリヴァー・ラファージはニューヨークに生まれたが、ロードアイランド州ニューポートで育った。父はボザール様式の有名な建築家クリストファー・グラント・ラファージ、母はフローレンス・ベヤード・ロックウッドだった。兄のクリストファー・ラファージは小説家だった。ラファージおよび父方の同じ名前の叔父（建築家）はともにその名を高祖父のオリヴァー・ハザード・ペリーから取っている（オリヴァー・ラファージの父方の祖母がオリヴァー・ハザード・ペリーの孫娘）。