O. Šarmavičius Valstybės tarnybos departamentui su pertraukomis vadovavo nuo 2002-ųjų.
2010-aisiais iš pareigų jis buvo atleistas tuometinio vidaus reikalų ministro Raimundo Palaičio, bet 2011 metais teismas nurodė jį grąžinti į pareigas ir sumokėti kompensaciją už priverstinę pravaikštą. Vidaus reikalų ministerija teismo nurodymą įvykdė.
Nepaisant to, kad teismas nurodė O. Šarmavičių grąžinti į pareigas, 2011 metų rugsėjį pirmąją darbo dieną jis pateikė atsistatydinimo pareiškimą.
Po Seimo rinkimų pasikeitus politinei daugumai ir Vyriausybei, 2013-ųjų sausį socialdemokratas vėl paskirtas Valstybės tarnybos departamento direktoriumi ketverių metų kadencijai.
Nuo 2013 metų Valstybės tarnybos departamentas pavaldus nebe Vidaus reikalų ministerijai, o Vyriausybei, todėl dėl jo atleidimo ir naujo vadovo skyrimo spręs ministrų kabinetas.