Dai registri antichi ricaviamo che nella primavera del 1482 si diede inizio alIa “fabrica monasterii”, lavori però che interessarono piu che altro costruzioni preesistenti. L’attuale convento con il suo ampio e luminoso chiostro porta queste date.
Fra il 1510 e il 1518 si lavora all’ala est del chiostro (lato dell’attuale sacrestia), dove, al piano terra, si ricavano la sacrestia, la sala capitolare, il refettorio e la cucina.
Le colonne del chiostro sono scolpite dal lapicida Giovanni da Faedis, al quale in seguito si affiancherà il figlio Antonio per quelle degli altri lati.
Nel1520 si da inizio all’ala ovest, quella lungo la roggia, ed è terminata nel 1527.
Nel 1539 è coperta l’ala sud, che congiunge le due già costruite.
Quella appoggiata al santuario, ma soltanto la parte inferiore, è stata messa in opera nel 1560. Fino al secolo XVIII, quando il santuario venne prolungato verso il Giardino Grande, l’entrata principale del convento dava direttamente suI sagrato della chiesa, dove attualmente è innalzato l’atrio.
Secondo i registri contemporanei, il portale era in pietra scolpita ad opera del lapicida Filippo di borgo Pracchiuso. A questo maestro vanno attribuite anche le parte, che dai vari locali immettevano nel chiostro: una di queste e stata rimessa in luce, al lato est del chiostro, durante i restauri del 1966.
Al centro del chiostro è sempre esistita una cisterna.
Quella primitiva, che doveva servire anche per gli abitanti di borgo Pracchiuso, così affermano i documenti contemporanei, è stata scavata nel 1503; l’attuale invece risale al 1718.
A questa data vanno pure riferiti gli affreschi delle lunette del chiostro, che illustrano episodi della storia dei Servi di Maria e del santuario.
Il piano superiore dell’ala appoggiata al santuario fu aggiunto durante i lavori di ristrutturazione della chiesa nel corso del secolo XVIII.
Con le invasioni francesi del 1797, i frati furono espulsi e il convento divenne di proprietà del demanio.
Nell’ottobre del 1811 viene venduto ad un privato cittadino.
Nel 1816 il canonico Francesco Alessio, primo parroco delle Grazie, inizia il ricupero del monastero, operazione che si conclude nel 1831.
Per quasi un secolo l’intero stabile rimase parte in uso del parroco, parte, dal 1866, in uso delle monache Clarisse e parte fu affittato alle scuole comunali.
Fondamentalmente la struttura architettonica rlmase quella cinquecentesca.