Nella prima metà del Settecento Alessandro Borgia nella sua Istoria della Chiesa e città di Velletri così descrive il palazzo della famiglia Ginnetti ‘…la galleria ripiena di eccellenti pitture e statue antiche; ivi la superba scala tutta di candidi marmi che è giudicata una meraviglia d’Italia, ivi un amenissimo giardino ricco di fonti, statue che si stende a più miglia di circuito …’. I Ginnetti erano una famiglia borghese di origine bergamasca che sin dal XV secolo si stabilì a Velletri e divenne nota nel Seicento per il suo mecenatismo. Il cardinale Marzio Ginnetti (Velletri 1585-Roma 1671) (n. 34) fu per lungo tempo uno dei più influenti rappresentanti della corte pontificia. Nominato cardinale titolare della chiesa di Santa Maria Nova a Roma nel 1627 dal papa Urbano VIII, fece ampliare e decorare a Velletri il palazzo di famiglia, affidandone il progetto al noto architetto Martino Longhi il Giovane (1602-1656) (nn. 41-46 in bacheca), e promosse definitivamente la sistemazione della piazza del Trivio, verso la quale prospettava l’edificio.
Il palazzo era riccamente adornato con dipinti e sculture antiche – sistemate anche nell’immenso parco – che costi-tuivano la preziosa collezione del cardinale. Della raccolta di antichità facevano parte le statue delle Muse Urania (nn. 35-37), Euterpe e Polimnia, oggi con-servate nei Musei Vaticani, forse rinvenute nel territorio di Velletri. Nel giardino erano collocati anche sarcofagi di epoca romana (nn. 38-39) che all’inizio del Novecento ancora si trovavano nel parco. La raccolta all’inizio del Settecento fu ereditata da un membro della famiglia Lancellotti. Infatti dopo la morte del cardinale Marzio, sepolto nella cappella di famiglia nella chiesa di S. Andrea della Valle a Roma, il casato dei Ginnetti si estinse rapidamente; già nel 1694 l’ultima discendente, Olimpia Ginnetti, morì prematuramente.
Il marchese Marzio e il monsignor Giovanni Paolo, padre e zio di Olimpia, persuasi che la giovane fosse stata avvelenata da alcuni parenti per ragioni ereditarie, vollero adottare il fidanzato della ragazza, Scipione Lancellotti (1668-1723), che assunse il nome di Ginnetti-Lancellotti diventando erede universale dei beni della famiglia. Nonostante ciò, sin da allora iniziò la decadenza della residenza nobiliare e la dispersione della collezione.
I Lancellotti trasferirono gran parte della raccolta allorché, durante la guerra di successione austriaca, fu combattuta la battaglia di Velletri e il palazzo divenne la sede di Carlo di Borbone, re di Napoli, e del suo stato maggiore. Dal 1852, con l’estinzione anche della famiglia Lancellotti, il patrimonio fu diviso tra i Massimo e i Caracciolo di Avellino. Il palazzo spettò ai Caracciolo e la collezione ai Massimo.