Pályáját KISZ-funkcionáriusként kezdte, 1981-84 között az MKKE-n, majd 1985-től a KISZ KB-ben. 1989-90-ben a Minisztertanács hivatalának tisztviselője miniszter-helyettesi rangban, a Magyar Rádió és Tv kuratóriumának titkára.

1990-94 között a MeH helyettes államtitkára, vagyis magas pozícióban végigszolgálta az Antall- és Boros-kormányokat. Feladatai között szerepelt – egyebek között – a társadalmi szervezetek állami ingatlanvagyonának kezelése is.1

A kormányváltás után még közel egy évig a MeH-ben dolgozott, államtitkári rangban. 1995-98 között a Környezetvédelmi és Területfejlesztési Minisztérium közigazgatási államtitkára. 1998-2000 között Gyurcsány Ferenc cégeinél (Perfekt Rt., Altus Rt.) IG tag, vezérigazgató. 2002-2003 között a Gyurcsány által vezetett Gyermek-, Ifjúsági és Sportminisztérium államtitkára. Ugyanilyen pozíciót töltött be 2003-2004-ben a Nemzeti Kulturális Örökség Minisztériumában, majd a Belügyminisztériumban. 2005-től Gyurcsány Ferenc miniszterelnök kabinetfőnöke, előbb címzettes államtitkár, majd 2006 tavaszától politikai államtitkári rangban. A 2006-os választásokon az MSZP színeiben képviselőjelölt.

Szilvásy 2007. július 1. és 2009. április 16. között a polgári nemzetbiztonsági szolgálatokat irányító tárca nélküli miniszter volt. A Bajnai-kormány megalakulásakor Szilvásy távozott a kormányból, és az MNV Zrt. humánpolitikai főigazgatója lett. Pár héttel később felmerült a sajtóban az a hír, hogy ő lesz Tátrai Miklós vezérigazgató utóda, de ez nem bizonyult valósnak. Szilvásy üzleti vállalkozásairól keveset tudni, csak annyit, hogy ő tulajdonolja a Művelt Nép Könyvkiadót.

A 2. Orbán kormány 2010 júniusában eltávolította az MNV Zrt.-ből2, majd három bűntető eljárást is kezdeményeztek ellene.

(i) 2010 decemberében az ügyészség azzal gyanúsította meg, hogy a nemzetbiztonsági bizottság elnökeként, 2008 szeptemberében hivatali visszaélést követett le, amikor nem megfelelő módon járt el az OTP vezetőjéhez, Csányi Sándorhoz is kapcsolódó, ún. UD Zrt. ügyben (⇓6.9.7.3). Több forduló után a jogerős ítélet 2015 elején született meg: Szilvásyt minden vádpont alól felmentették.3

(ii) Szilvásyt 2011 júliusában a Katonai Ügyészség - a polgári nemzetbiztonsági szolgálatokat irányító tárca nélküli miniszteri tevékenységével, ezen belül egy 80 évre titkosított, 2005-ig visszanyúló üggyel kapcsolatban – felbujtóként elkövetett kémkedés gyanújával rövid időre őrizetbe vette.4 Az első lapjelentések5 egyöntetűen úgy vélték, hogy ez a gyanúsítás valamilyen módon a MOL-hoz, illetve a Szurgut 2009-ben végbement, 21,2%-os tulajdonszerzéséhez kapcsolódik (⇓6.7.15). Később kiderült, hogy nem ez a vád, hanem az, hogy Szilvásy és három beosztottja egy bolgár céget bízott meg valamilyen belső ellenőrzési munkával. Az elsőfokú ítélet 2013 júniusában Debrecenben született: 2 év 10 hónap végrehajtandó szabadságvesztés. Ezt az ítéletet 2015. június 5-én eljárási hibák miatt a Fővárosi Ítélőtábla katonai tanácsa hatályon kívül helyezte és új eljárást rendelt el.6 2017 szeptemberében a Fővárosi Ítélőtábla Szilvásyt – bűncselekmény hiányában - jogerősen felmentette a kémkedés és bűnbártolás vádja alól. Ezt a döntést a Legfőbb Ügyészség 2018 áprilisában megtámadta a Kúrián, de a Kúria egy hónappal később jóváhagyta a jogerős felmentő döntést.

(iii) 2012 tavaszán a Fővárosi Ügyészség Szilvásy ellen hamis tanúzás miatt is vádat emelt. Az ügyészek szerint Szilvásy nem mondott igazat, amikor azt állította, hogy fizetett azokért a facsemetékért, amelyek ügyében a KNYF hűtlen kezelés bűntette miatt Benedek Fülöp ellen folytatott nyomozást.7 A Fővárosi Törvényszék 2015 júniusában Szilvásyt jogerősen is felmentette a vád alól.