ポートオブスペイン
1813年、マロリーはイギリス領西インド諸島のトリニダード島ポートオブスペインで生まれた。しかしマロリーが2歳のときに父親が死亡し、1820年に家族はアメリカ合衆国へと移住した。マロリーの母親はフロリダ州キー・ウェストで下宿屋を開業した。