Фішер рано втратив батьків, тому його виховував дядько, який зробив з нього переконаного націоналіста. Член Союзу молоді. В 1932 році почав вивчати медицину в Берлінському університеті, в 1937 році склав державний іспит. 1 листопада 1933 року вступив у СС (особистий номер 293 937), 1 травня 1937 року — у НСДАП (партійний квиток №5 370 071). Після початку Другої світової війни поступив на службу у війська СС, служив у концтаборах Оранієнбург, Дахау і Штральзунд. Учасник вторгнення в СРСР. Фішер захворів на туберкульоз і був переведений на тилові посади. Під час лікування познайомився з Енно Лоллінгом, начальником 3-го відділу Головного адміністративно-господарського управління СС (санітарії і табірна гігієна). Фішер прийняв пропозицію Лоллінга стати табірним лікарем для розширення свого хірургічного досвіду і 6 листопада 1942 року розпочав службу в концтаборі Аушвіц. Спочатку служив як військовий лікар під керівництвом свого друга Едуарда Віртса, з личтопада 1943 року — лікар табору Аушвіц III Мановіц. На цій посаді Фішер займався відбором новоприбулих в'язнів і, таким чином, вирішував, хто з них парцездатний, а хто відразу вирушить у газові камери. З вересня 1944 року — головний лікар Аушвіца. В лютому 1945 року, після евакуації табору, переведений у Головне адміністративно-господарське управління СС.