Двухэтажное белое здание, квадратное в плане, называется Капланка. Известно, что во время строительства барочной крепости в этих местах было небольшое кладбище и костница – постройка, предназначенная для хранения истлевших останков. Позже рядом появилась часовня Девы Марии Шанцовской, а костницу превратили в жилище священника. Иосиф II закрыл часовню, а Капланка отошла в воинскую казну, из которой в 1882 году капитул - духовный совет - выкупил ее вместе с часовней. В 1933 году дом перестроили.
Небольшая квадратная постройка по соседству с Капланкой – часовня Девы Марии Шанцовской. Над невысокой черепичной крышей возвышается восьмигранная башенка-фонарь. Ее купол завершает кованый позолоченный знак с символами королевской короны и жезла, а под ними лев и орлица, держащие мечи. Композицию венчает кованый крест.
Часовня, предназначенная для статуи Девы Марии, получила название из-за своего расположения возле крепостных стен – шанцев. Баварец Михал Гох заказал резчику Шимону Талеру расписную деревянную статую Мадонны с маленьким Иисусом и поместил ее в костеле Усекновения головы святого Иоанна Крестителя. К тому времени костел был уже частично демонтирован и встроен в крепостные стены новой цитадели. Вскоре возле статуи начали происходить чудеса, исцеления больных. В 1748 году вышеградский каноник и декан Ян Томаш Бергауэр построил для статуи часовню, соединенную с костелом коридором. При часовне было помещение для затворника, который одновременно служил костельным сторожем и звонарем.
В конце XVIII века статуя Девы Марии Шанцовской была перенесена в костел Святых Петра и Павла. Часовня же долгое время служила армейским складом, затем сдавалась под жилье беднякам. Однако бедные обитатели постройки покинули бы ее очень скоро, если бы знали, что находится у них под ногами. В конце XIX века на небольшой глубине под полом было обнаружено несколько скелетов.
За часовней Девы Марии Шанцовской в кирпичном валу крепости есть двери и несколько окон, ведущих в темное помещение – в бывший костел Усекновения головы Иоанна Крестителя. Костел был построен, вероятно, при Карле IV. В документах он упоминается с конца XIV века. Сейчас кажется, что освящать храм в честь столь печального события – обезглавливания, несколько странно. Однако в христианстве день смерти святого мученика считается днем его рождения для вечности, и в средние века появлялось множество соборов, посвященных усекновению главы святого Иоанна. Костел был поврежден во время гуситских войн. Когда на холме вновь появилось поселение, отремонтированный костел стал приходским. В нем служили литургию под двумя видами причастия. Ведь, если в католичестве мирян причащали лишь Хлебом – Телом Христовым, то протестанты причащались Хлебом и Вином, то есть Телом и Кровью Иисуса. Возле костела была построена контора бурмистра, перед ним появилась небольшая площадь с рынком и мясными магазинами, где проходили ежегодные ярмарки. На площади на средства капитула построили двухэтажную ратушу с садиком. По обычаям того времени в ратуше был трактир, где наливали пиво и медовуху.
Когда в середине XVII века началось строительство вышеградской крепости, костел оказался на линии крепостного вала и был включен в него, хотя богослужения еще некоторое время продолжались. Крыша с башней была выше укреплений, что посчитали опасным, и костел был выровнен по высоте с крепостными стенами. Новый, более низкий потолок постепенно сверху засыпали землей. Так внутри вала оказалось только внутреннее пространство храма. Костел состоит из двух помещений, скрытых в насыпи, снаружи виден лишь фасад в кирпичной крепостной стене.
В конце XVIII века костел закрыли по распоряжению Иосифа II. Военные стали использовать его как склад, арсенал, сдавали под жилье и даже устроили в нем хлев. Наконец постройка была засыпана массивным валом. В XX веке ее раскопали, открыли и вычистили.