In Nederland kwam hij uit voor FC Den Haag en FC Twente. In het buitenland speelde hij voor Bayern Munchen, West Bromwich Albion als Coventry City.

In het seizoen 1991-1992 startte Jol zijn trainersloopbaan bij de amateurs van FC Den Haag. In het seizoen 1996-1997 begon hij als proftrainer bij Roda JC, nadat hij daar door een journalist werd getipt. Met Roda JC won Jol de KNVB Beker. Daarna was hij trainer bij RKC Waalwijk, Tottenham Hotspur en Hamburger SV.