Quale Governatore del Tirolo, l'arciduca Carlo Ludovico soggiornò molti anni presso Merano, in Alto Adige, che già prima dei soggiorni dell'imperatrice Sissi era una località nota alla famiglia imperiale.
Quando egli venne nominato Statthalter del Tirolo, il 30 luglio 1855, grande fu la gioia dei tirolesi che salutarono quella nomina con grandi feste, poiché conoscevano la bontà e la nobiltà d'animo del giovane di soli 22 anni!
Scriverà un giornale dell'epoca: "Vera gioia e sentita eccitazione spirano attualmente attraverso la nostra cara patria, visto che s'avvicina di giorno in giorno uno dei suoi periodi più belli e importanti, stante l'arrivo nel capoluogo dell'onoratissimo principe imperiale governatore arciduca Karl Ludwig, che qui viene per impugnare le redini del governo, nell'interesse dei devoti sudditi fedeli all'eccelsa casa imperiale, a onore e gloria del suo imperiale fratello, che qui lo ha inviato"
Il giovane raggiunse Merano il 17 ottobre, transitando attraverso la Val Venosta, toccando il borgo di Resia che al tempo non era ancora stato sommerso. Qui fu tutto un tripudio, un salutare il fratello dell'imperatore che accorreva per risollevare le sorti del Sudtirolo. A tal proposito, il "Bozner Zeitung" del tempo, pubblicò una poesia celebrativa redatta dal direttore scolastico Alverà e declamata il giorno 19 in teatro a Bolzano, alla presenza del nuovo governatore.
L'arciduca rimase a Merano per un mese per poi rientrare a Vienna transitando per Bolzano, ove approfittò del cambio dei cavalli per recarsi in visita alla arciduchessa Elisabetta. Alle 17 raggiunse Trento dove si rifocillò all'hotel 'all'Europa' per poi ripartire alle 18.
Al fine di esser più comodo per le sue frequenti visite a Merano e al Sudtirolo, nel 1863 l'arciduca Carlo Ludovico acquistò Castel Rottenstein, nella località di Maia Alta, nelle immediate vicinanze del centro cittadino.
Dai primi del 1800 il castello passò attraverso numerosi proprietari, per lo più nobili d'oltralpe che lo scelsero come loro residenza per i lunghi periodi di villeggiatura. Vi abitò anche l'architetto imperiale von Klenze, che aveva l'incarico di cercare una dimora adatta per il re Ludovico di Baviera.
Carlo Ludovico, costruì la seconda torre all'angolo nord della facciata e fece alzare di un piano il tratto nord-est e quello orientale. I numerosi lavori di ampliamento e di ristrutturazione condotti soprattutto nel secolo scorso hanno reso irriconoscibile, a parte la torre, del resto anch'essa assai manomessa, la struttura architettonica originaria.
Ecco come si presentava nella seconda metà dell'Ottocento:
Nell'inverno del 1871-72, Merano accolse nuovamente l'imperatrice Elisabetta d'Austria, che l'anno prima era stata nella località della Val Passiria per molti mesi e dimorando presso Castel Trauttmansdorff: poiché quest'ultimo era occupato, dovette ripiegare sul castello del cognato Carlo Ludovico, che glielo mise a disposizione senza troppe cerimonie.
Schloss Rottenstein a Obermais, però non la entusiasmò molto e già dal giorno seguente andò a passeggio nel parco del castello di Trauttmansdorff, ricordando le belle passeggiate dell'anno precedente.
A Castel Rottenstein, Carlo Ludovico trascorse bei momenti en famille e qui ebbero luogo grandi rimpatriate come testimoniato da una fotografia degli anni '90 dell'Ottocento nella quale si riconoscono l'arciduca, secondo uomo in fondo da sinistra, nonché la moglie Maria Teresa e l'arciduchessa Stefania del Belgio, moglie del figlio di Sissi.
