Op 31 maart 1935 speelde hij zijn eerste wedstrijd voor het Nederlands elftal in een met 4-3 gewonnen wedstrijd tegen België. Caldenhove speelde van 1935 tot 1940 25 achtereenvolgende interlands van Oranje in de basis. In 1937 stond hij opgesteld in een wedstrijd tussen de beste spelers van West-Europa en Centraal-Europa. In 1938 kwam hij uit op het wereldkampioenschap. In zijn 25e interland, op 17 maart 1940 tegen België, was hij voor het eerst aanvoerder. De wedstrijd ging met 7-1 verloren en het werd meteen de laatste interland van Caldenhove. Door een blessure aan de knie, opgelopen in een wedstrijd tegen ADO, moest hij afzeggen voor de eerstvolgende twee interlands. Vervolgens kwam Oranje in verband met de Tweede Wereldoorlog tot maart 1946 niet in actie. In de oorlog werd Caldenhove uitgenodigd voor de Amsterdamse selectie en voor een selectie van voetballers uit West-Nederland. Hij werd na de oorlog nog wel geselecteerd voor het Nederlands elftal, maar had zijn plaats in de basis verloren aan Henk van der Linden en kwam niet verder dan de reservebank.