Delorge begon in 1996 bij Belgische derdeklasser RJ Waver. In 1998 werd hij overgenomen door AA Gent, maar in een half seizoen kon de Belgische middenvelder niet overtuigen. Vervolgens ondertekende Delorge een vijfjarig contract bij Coventry City.

Na een avontuur in Engeland keerde Delorge terug naar Belgie om daar bij Lierse aan de slag te gaan. Zijn prestaties bij de Belgische club bleven niet onopgemerkt en al gauw toonde Anderlecht interesse in de nu 29-jarige middenvelder.

In 2005 kwam Delorge uit voor Anderlecht. De Belgische middenvelder speelde 12 duels voor de Belgische topclub. Zijn periode bij Lierse bleef hem echter achtervolgen, want hij werd beschuldigd van betrokkenheid bij het beruchte omkoop- en gokschandaal in de Belgische voetbalcompetitie. Delorge werd op staande voet ontslagen bij Anderlecht. ADO Den Haag gaf hem vervolgens kans op eerherstel en contracteerde de Belg.

In 2007 werd Delorge door Ajax overgenomen van ADO Den Haag. In Amsterdam kreeg de 29-jarige middenvelder last van een aantal vervelende blessures, waardoor hij weinig in actie kon komen in Ajax 1. Aan het begin van het huidige seizoen werd Delorge teruggezet naar het tweede van Ajax. De Belg kreeg van Ajax te horen dat hij in de winterstop op zoek mocht gaan naar een nieuwe werkgever.

In 2009 zal Delorge uitkomen voor Roda JC, de club waar Martin van Geel, voormalig technisch directeur van Ajax, actief is. Delorge speelde slechts vier wedstrijden voor Ajax en kwam daarin één keer tot scoren.