V letech 1698-1701 byla podle vzoru oblíbeného poutního místa v italském Loretu postavena Svatá chýše (Loreta).
Českolipskou Loretu navštěvovali věřící od roku 1701, kdy byla její stavba dokončená.
Interiér připomíná cihlový domek se skromným vybavením stříbrnými předměty, které darovala Marie Alžběta z Harrachu. Stěny jsou zdobené fragmenty zobrazující výjevy ze života Panny Marie. Dominantou interiéru je její socha z lipového dřeva, vyrobená na zakázku v italském městě Loreto. Po zhotovení byla 14 dnů ponechaná v blízkosti sochy Panny Marie zdejší Svaté chýše, prošla procesem dotýkání a poté byla odvezená do České Lípy. Zvláštností českolipské Lorety je sousoší umístěné na břevně (které bývá ve většině Loret prázdné) znázorňující Zvěstování. Nad vchodem visí alianční znak pánů z Valdštejna a Harrachů.
Českolipská Loreta povznášela duchovnost a zbožnost měšťanů a stala se poutním místem věřících, kteří ji rádi navštěvovali. Bylo nutné vybudovat ambit, tedy přístřešek pro poutníky a místo, kde se mohli připravit na slavnostní mši v Loretě. Na jeho výstavbě se podíleli Kounicové, majitelé zahrádeckého panství, kterým Karel František z Valdštejna zděděný majetek v roce 1696 prodal. Ambit, nebo-li ochoz s otevřenými okny byl postaven v letech 1725 až 1730 a obklopuje Loretu ze všech stran. V jeho rozích stály kaple, po celém ochozu byly umístěné lavice a zpovědnice.