Ormsby-Gore connaissait bien Kennedy depuis son séjour à Londres, où son père Joseph P. Kennedy a été ambassadeur américain. Ormsby-Gore a une relation plus étroite que Macmillan avec le président élu et son frère Robert. Six mois après l'entrée en fonction de Kennedy, Ormsby-Gore est à Washington, DC. Désigné sous l'administration Kennedy comme "notre genre d'ambassadeur", il fournit à Kennedy un flot de conseils et de cigares cubains via sa valise diplomatique. Il est presque un résident de la Maison Blanche, étant plus un ami de la famille qu'un simple ambassadeur. Après l'assassinat du président Kennedy, il y eut des rumeurs d'une histoire d'amour entre Ormsby-Gore et Jacqueline Kennedy. En 1968, il lui propose de se marier, mais elle n'a pas accepté. Ormsby-Gore est l'un des porteurs du cercueil des funérailles de Robert F.Kennedy. Sous l'administration Lyndon B. Johnson, les relations sont plus formelles mais restent excellentes; et Ormsby-Gore conserve son poste après l'arrivée d'un gouvernement travailliste en Grande-Bretagne en 1964.