La famiglia Attems probabilmente discende dal casto nobiliare medievale francese dei Montfort-l’Amaury prende il nome dal castello di Attimis, in Friuli che rivestì un ruolo centrale nel parlamento friulano, detenendo titoli di principi, conti e baroni. Quando lo ‘Stato da Tera’ veneziano si consolidò dopo il 1433 e il Friuli ne divenne stabilmente parte integrante, parte della famiglia rimase ad Attimis, mentre altra parte preferì trasferirsi nella contea di Gorizia, rivestendo cariche molto vicine alla reggenza comitale del tempo, che si esaurì con Leonardo, ultimo conte di Gorizia nell’anno 1500. Per questi, Ferdinando di Attems fu insignito del ruolo di cancelliere e, una volta stabilitasi sul territorio goriziano la monarchia asburgica, la casata si divise in due rami -Heiligenkreuze e Petzenstein- che, verso la metà del XVII secolo, furono elevati a conti del Sacro Romano Impero.
Carlo Michele d’Attems, quinto figlio di Giovanni Francesco ed Elisabetta Coronini, nacque a Gorizia nel  1711 e ricevette la sua prima educazione probabilmente presso i gesuiti di Gorizia, ai quali era già stata affidata quella del fratello. La sua formazione fu così approfondita ed estesa che, a coronamento della stessa, conobbe la nomina a vescovo titolare di Pergamo. A ciò seguì poi la nomina di primo arcivescovo della neo costituita arcidiocesi di Gorizia e, infine, principe del Sacro Romano Impero.
Difatti, con la bolla Iniuncta Nobis del 17 luglio 1751, il patriarcato fu abolito definitivamente da Benedetto XIV. Nacquero in Friuli due nuove diocesi: quella di Udine, afferente alla porzione veneta dei destituiti territori patriarcali e quella di Gorizia, per la parte austriaca.
A seguito della soppressione del Patriarcato, istituì nel 1753 a Gorizia il monte di Pietà, cedendogli la sua dote: un’istituzione senza scopo di lucro in grado di erogare alle persone più bisognose dei prestiti di lieve entità, a condizioni estremamente distanti da quelle praticate dall’usura diffusa dai prestatori ebrei.
La sede di questa nobile istituzione è il Palazzo della Torre, voluto appunto dall’arcivescovo Carlo Michele.
II monte di Pietà fu dapprima trasformato in Cassa d’Imprestanza e poi chiuso. Lo riaprì il conte Giuseppe della Torre e oggi ospita la sede della Fondazione della Cassa di Risparmio di Gorizia, di cui in precedenza fu sede principale.
Nel 1756 Carlo Michele inoltre ottenne di aprire l’ospedale di S. Raffaele per offrire ricovero ai vecchi e agli infermi e la sua casa fu sempre aperta ai bisognosi.