
Rozwijający się zakon jezuitów kupił po niedługim czasie sąsiadujący budynek, który tworzył teraz całość z wcześniej otrzymanym klasztorem. Dodatkowo zakupili poniższą skarpę gdzie urządzili ogrody oraz postawili młyn a w 1838 roku przejęli prowadzenie gimnazjum w popijarskim gmachu. Musieli oni jednak opuścić Nowy Sącz, kiedy to w 1848 dekret carski zniósł zakon. Jednakże 5 lat później powrócili na swoją dawną własność, gdzie kontynuowali dzieła wcześniej zapoczątkowane.

Obecnie kościół Ducha Św. to budowla gotycka, pozostałe zaś obiekty to budowle XV i XVIII wieczne. Najmłodsza rozbudowa wykonana przez Jezuitów pochodzi z XIX wieku. Najcenniejszym zabytkiem jest XV wieczne prezbiterium. Wnętrze skrywa wizerunek Matki Boskiej Pocieszenia, który został namalowany w 1568 roku przez nieznanego malarza. Uważany jest on za najpiękniejszy obraz przedstawiający wizerunek Matki Boskiej.

Koronacja wizerunku zaplanowana była w latach 30. XX wieku, jednakże działania wojenne przesunęły tą datę na 11 sierpnia 1963 roku przez Prymasa Tysiąclecia Stefana Wyszyńskiego w asyście m.in. Karola Wojtyły. Trwających 9 dni uroczystościach wzięło udział 700 księży oraz 300 tys. wiernych.