Han var sønn av geheimeråd Frederik Christian von Adeler (1668–1726) og hustru Henriette Magrethe von Lente (1676–1703). I 1722 reiste han sammen to av sine brødre utenlands hvor de besøkte Tyskland, Nederlandene, England, Frankrike og Italia. Ved sin hjemkomst fire år senere ble han kammerjunker hos dronning Anna Sophie.