החל בשנת 1941 פעל קסטנר להקמת גוף המורכב מיהודים ליברליים וסוציאל-דמוקרטיים שיעזור לפליטים היהודים שהחלו להגיע להונגריה. בשנת 1943 נקרא הגוף "ועדת העזרה וההצלה בבודפשט". בראש הוועדה עמד אוטו קומוי, קסטנר היה סגנו ומנהיג הוועדה בפועל. אנשי הוועדה היו בקשרים עם קבוצת העבודה בסלובקיה, ועם ועד שליחי היישוב, ששכן באיסטנבול שבטורקיה הנייטרלית, הקרובה גאוגרפית לשטחי הכיבוש וההשפעה של גרמניה. באמצעות קשרים אלו, ידעו אנשי הוועד על השואה המתרחשת בפולין וברוסיה. ידיעה זו התחזקה בהגיע פליטים יהודים מפולין להונגריה, ולנוכח דיווחים מפי אנשי צבא הונגרים ששירתו ביחידות הצבא ההונגרי, שנטלו חלק בפלישה הנאצית לברית המועצות. יואל ברנד היה יושב ראש 'מחלקת הטיול' של הוועדה, שהבריחה יהודים מפולין וסלובקיה להונגריה, כשמצבה של יהדות הונגריה היה עדיין טוב יחסית ונראה היה כי איננה נתונה לסכנת השמדה.