ヘンリー・ウィラビー (第5代ミドルトン男爵)
1756年12月25日、ドロシー・カートライト(Dorothy Cartwright、1808年7月19日没、ジョージ・カートライトの娘)と結婚、1男3女をもうけた。
ドロシー(1758年7月13日 – 1824年4月13日) - 1784年11月24日、リチャード・ラングリー(Richard Langley)と結婚
ヘンリー(1761年4月24日 – 1835年6月19日) - 第6代ミドルトン男爵
ヘンリエッタ(1766年6月30日 – 1846年2月26日) - 1787年6月14日、第6代スカーバラ伯爵リチャード・ラムリー=サンダーソンと結婚、子供なし
カサンドラ(Cassandra、1770年4月1日 – ?)
トマス・ウィラビー閣下(1742年12月2日没、初代ミドルトン男爵トマス・ウィラビーの息子)と妻エリザベス(Elizabeth、旧姓サウスビー(Southby)、1752年4月25日没、トマス・サウスビーの娘)の長男として、1726年12月19日にヨークで生まれ、1727年1月4日にヨーク・ミンスターで洗礼を受けた。1745年5月2日、ケンブリッジ大学ジーザス・カレッジに入学した。
1757年、ヨークシャー州長官(英語版)を務めた。
1781年1月19日に伯父フランシスの息子トマスが死去すると、その遺産とミドルトン男爵位を継承した。
1787年1月25日、王立協会フェローに選出された。
1800年6月14日に死去、同名の息子ヘンリーが爵位を継承した。ウォラトン(英語版)のセント・レオナーズ教会(英語版)に第5代ミドルトン男爵の記念碑がある。