Palazzo Ghirlanda Silva, edificio patrizio con pianta a U con portico e cortile interno, risale alla prima metà del diciottesimo secolo.

La maggior parte della proprietà fu venduta dai nobili Ghirlanda Silva al Comune di Brugherio nel 1872 e doveva ospitare scuole e uffici comunali.

L’edificio ha una superficie di 1992 mq, di cui attualmente 1407 adibiti ai servizi bibliotecari (sono esclusi la galleria, la sala conferenze e gli uffici).

Nel 1958-59 nasce a Brugherio il servizio bibliotecario, che fino al 1968 viene collocato nella zona dove adesso è situato il settore riviste della sezione ragazzi, con personale volontario e apertura serale.

Dal 1970 circa, mentre vengono eseguiti lavori di ristrutturazione del palazzo, la biblioteca si trasferisce presso la scuola Leonardo da Vinci, ex Scuola di Musica.

Nel 1982 si inaugura la sede attuale, che offre nuovamente spazio alla biblioteca e a parte degli uffici comunali.

Nel 1998, in seguito ad un cedimento della struttura, l’edificio viene evacuato e la biblioteca trova per cinque anni ospitalità nel Centro Commerciale Kennedy.

Terminati i lavori di consolidamento, nel 2003 Palazzo Ghirlanda Silva viene destinato esclusivamente a sede della biblioteca, galleria espositiva e sala polifunzionale.