Fizician de carieră, Gherman a intrat în politică după 1990, în FDSN, devenit mai apoi PDSR (actualul PSD - N.R.), iar între 1992 și1996 a fost președinte ale Sentului. În total, a fost senator în patru legislaturi, pentru ca apoi să devină ambasador la Paris, în perioada 2001-2004.
Oliviu Gherman era un nume cunoscut încă din perioada comunistă, fiind autorul unei populare culegeri de probleme de fizică pentru liceu.
