Albrechtsen skrev under på en 4 og et halvt år lang kontrakt med FC København og han debuterte for klubben den 3. mars 2002 da de spilte 0-0 mot AGF. Totalt spilte han 14 ligakamper for i siste del av 2001/02-sesongen, mens det ble 27 ligakamper i 2002/03-sesongen. I 2003/04-sesongen laget Martin Albrechtsen sitt første klubbmål for FC København, og det skjedde 27. november 2003 da de spilte 1-1 mot Mallorca i en kamp i UEFA-cupen. I ligasammenheng ble det 0 mål på 31 ligakamper for Albrechtsen i 2003/04-sesongen.