Castagne ha iniziato la sua carriera al Virton, dove ha fatto il suo debutto professionale nel 1995. Nel 1997 si è trasferito all'Anderlecht, dove ha vinto tre titoli della Pro League belga e due Coppe del Belgio. Nel 2004 passa al Milan, dove vince il titolo di Serie A nel 2004 e la UEFA Champions League nel 2007.
Castagne ha fatto il suo debutto in nazionale con il Belgio nel 1999. Ha collezionato 54 presenze con la sua nazionale, segnando quattro gol. Ha rappresentato il Belgio alla Coppa del Mondo FIFA 2002 e al Campionato Europeo UEFA 2000.
Dopo essersi ritirato dal calcio nel 2008, Castagne ha lavorato come opinionista per la televisione e la radio belga. È anche un uomo d'affari di successo, avendo fondato diverse società.
Nel 2021, Castagne è stato inserito nella Belgian Football Hall of Fame.