Barokowy Pałac Czartoryskich zaprojektował na przełomie XVII / XVIII wieku słynny architekt flamandzki Tylman z Gameren. W 1728 r. pałac został przebudowany przez Franciszka Magiera. Pałac zbudowany na planie zbliżonym do kwadratu posiada w fasadzie wschodniej wysunięty szeroki ryzalit kryjący klatkę schodową.

Klasyczny barokowy kształt pałacu został zniszczony przez dobudowanie skweru, na którym od 1911 r. była hala do jazdy na wrotkach, którą następnie przebudowano na reprezentacyjne lubelskie kino. W czasie II wojny światowej uległ zniszczeniom. Po renowacji przywrócono mu barokową szatę architektoniczną.

Obecnie w Pałacu Czartoryskich znajduje się siedziba Lubelskiego Towarzystwa Naukowego i Polskiej Akademii Nauk Oddział w Lublinie.