Ambasados darbuotojai Lenkijos televizijai skundėsi negalintys dabartinėse nedidelėse patalpose priimti svečių delegacijų, oficialiems ambasadoriaus priėmimams netinkama ir šalia esanti aludė.
Šalia Vilniaus universiteto esantys dviejų aukštų Pacų rūmai puošniu fasadu ir su erdviu vidiniu kiemu, pasak ambasados darbuotojų, labai tiktų vienos iš artimiausių Lietuvos kaimynių - Lenkijos ambasadai įsikurti. Čia galėtų persikelti ir konsulinės įstaigos, taip pat Lenkijos kultūros sklaida Lietuvoje besirūpinantis Lenkų institutas Vilniuje, dabar mokantis didžiulius nuompinigius už patalpas Rotušės aikštėje.
Lietuvos ambasada Varšuvoje yra įsikūrusi Lenkijos sostinės senamiestyje, gražiame istoriniame pastate, kuriame veikia ir generalinis konsulatas, kultūros atašatas, Lietuvos turizmo ir informacijos centras.
XVI - XVII amžių sandūroje pastatyti didikų Pacų rūmai Vilniuje priklausė tuomet labai įtakingai Lietuvos Didžiosios Kunigaikštystės (LDK) šeimai. 1628 m. Šv. Jono gatvėje esantį pastatą įsigijo LDK raštininkas Steponas Kristupas Pacas, vėliau rūmus paveldėjo jo sūnus Kristupas Zigmantas, buvęs LDK kancleriu, sukaupęs didžiulius turtus, gyvenęs prabangiose rezidencijose.
1655 m. karo su Maskva metu rūmai buvo apiplėšti ir sudeginti, tačiau vėliau atstatyti ir vėl išpuošti. Rūmų interjerą puošė sieninė tapyba, kiemo fasadus - arkados, šiauriniame rūmų korpuse buvo įrengta puošni pobūvių salė.
Po Kristupo Zigmanto Paco mirties rūmai atiteko tolimam jo giminaičiui - Kazimierui Mykolui Pacui, kuriam mirus jo turtus paveldėjo brolio Jono Kazimiero sūnus - Juozapas Pranciškus Pacas. Jam valdant rūmai 1748 m. sudegė. Jų neremontavo nei tuometis šeimininkas, nei po jo mirties rūmus paveldėjęs sūnus Mykolas Jonas Pacas, paskutinis iš galingos Pacų giminės, dėl politinių aplinkybių 1771 m. priverstas emigruoti ir praradęs savo valdas. 1783 m. apgriuvusius Pacų rūmus įsigijęs LDK kancleris Aleksandras Mykolas Sapiega juos suremontavo ir išpuošė. 1793 m. rūmus paveldėjo Pranciškus Sapiega, Lietuvos artilerijos generolas.
Po 1831 m. sukilimo rūmai atiteko carinės Rusijos gubernijos valdybai. 1909 m. Pacų rūmai buvo atiduoti rusų klubui, o 1912 m. dar kartą pertvarkyti ir pritaikyti tuometės Rusų nacionalinės sąjungos reikmėms.
Iki Pirmojo pasaulinio karo šiuose Vidaus reikalų ministerijai priklausiusiuose rūmuose taip pat veikė restoranas, knygynas, paveikslų, vyno ir rankdarbių parduotuvės. Paskelbus nepriklausomybę, 1918 m. rūmuose veikė lietuvių "Rūtos" draugija, 1923 m. buvo "Švyturio" bendrovės knygynas.
Antrojo pasaulinio karo pabaigoje subombardavus Vilniaus centrinį paštą, Pacų rūmai buvo atiduoti ryšininkams. Kurį laiką čia veikė tarpmiestinė telefono stotis ir telegrafas. Vėliau rūmai priklausė centriniam paštui klubo teisėmis, dalis pastato buvo gyvenama. 1959 m. rūmai suremontuoti ir iš dalies restauruoti bei pritaikyti Ryšininkų kultūros namams. 1965 m. atnaujintas rūmų interjeras, centrinės laiptinės lange įrengtas dailininko Broniaus Bružo vitražas. Dar kartą rūmai restauruoti 1978-1991 metais.