Opisywany Pałac Lubomirskich znajduje się przy ulicy 3 Maja 1 / Radziwiłłowska 13. Pierwsze wzmianki dotyczące tego miejsca sięgają 2 połowy XVI wieku gdy znajdował się tu dwór należący do Firlejów herbu Lewart. Rezydencja zbudowana została w stylu renesansowym z cechami architektury obronnej. Następnie dwór przeszedł w ręce rodziny Ostrogskich herbu Ostroróg a następnie do Lubomirskich kiedy to dawny dwór Firlejów został przebudowany na pałac barokowy. W 1722 roku właścicielem został marszałek Wielkiego Księstwa Litewskiego, książę Karol Sanguszko herbu Pogoń. W kolejnych latach budynek zmieniał właścicieli, spłonął dwa razy. Przeszedł gruntowane remonty. W okresie zaborów mieszkał tu gubernator rosyjski a potem podczas pierwszej wojny światowej generał-gubernator austriacki. Po drugiej wojnie światowej budynek przekazano UMCS.
Między Pałacem Lubomirskich a pomnikiem Unii Lubelskiej stał kościół i klasztor oo. Bonifratów, zbudowany w 1653 roku. Na skutek złego stanu murów w 1819 roku rozebrano zabudowania przenosząc zakonników do klasztoru oo. Kapucynów, oo. Reformatów i oo. Karmelitów Trzewiczkowych.