Van Damme a cunoscut- o pe actriţa şi fosta culturistă Gladys Portugues când aveau amândoi puţin peste 20 de ani. Cei doi s-au căsătorit în 1987, însă Van Damme a părăsit-o după ce s-a lansat în cinematografie şi a devenit cunoscut la Hollywood.
Cei doi au divorţat în 1992, dar s-au recăsătorit în 1999 şi au împreună doi copii, care sunt în prezent adulţi. În ultimii ani, Gladys a trăit un calvar, potrivit presei americane, din cauza faptului că faimosul ei soţ a luat-o razna. “Pe lângă faptul că bea alcool până cade lat, Van Damme e şi fraier. Orice femeie îl păcăleşte, orice prostituată. De altfel, acesta a fost motivul principal de divorţ: faptul că toacă agoniseala familiei cu diverse domnişoare”, a mărturisit un prieten al soţiei starului.