В углу Карлаховых садов, напротив дома №81, находится самый таинственный объект на Вышеграде – Чертова колонна. Происхождение трех обломков каменной колонны общей длиной около шести метров до сих пор неизвестно, но окутано легендами.
Самое красочное предание рассказывает, что когда-то давно среди священников был один любитель карточной игры. Церковнослужителя так захватила эта страсть, что однажды, когда карта не шла, он в ярости позвал на помощь дьявола. Нечистый охотно отозвался и пообещал выполнять все желания священника, если тот завещает ему свою душу. С тех пор картежнику так везло, что дух захватывало. Годы шли, отче старел и начал задумываться, что совершил и чем придется расплачиваться. Карты перестали его интересовать, целыми днями он думал, как ускользнуть от адской клятвы. Вот если бы придумать такое желание, которое черт не сможет исполнить, договор потеряет силу! В отчаянии священник обратился к святому Петру. Святой сжалился над ним, явился ему во сне и посоветовал попросить у дьявола колонну из храма Святого Петра в Риме. Если черт принесет ее раньше, чем священник отслужит мессу в Вышеградском костеле, то все пропало. Но если черт опоздает, договор с ним утратит силу.
На следующий день священник сообщил черту свое желание. Тот только усмехнулся и полетел в Рим. Не желая терять времени, нечистый залетел в первый попавшийся римский костел, выдернул одну колонну и поспешил к Вышеграду. Он был бы там вовремя, но святой Петр следил за ним, а над Венецией появился из облака и сбросил груз в лагуну. Черт нырнул за колонной и быстро нашел ее в темной глубине. Но Петр вновь и вновь толкал нечистого. Служитель ада, как ни старался, а прилетел на Вышеград в момент, когда бледный от волнения священник произнес последнее слово мессы. Проигрыш так разозлил злого духа, что он швырнул колонну на крышу собора и вернулся в ад. А колонна, проломив купол, так и осталась лежать на полу храма Петра и Павла
Легенды легендами, а специалисты не могут понять, откуда колонна появилась на Вышеграде. Одна теория утверждает, что язычники использовали этот столб для измерения времени, уточняя по его тени положение солнца. По другой версии, это сломанная колонна от древнего храма Вратислава. Согласно третьей теории, обломки остались со времен осады Вышеграда гуситами, которые могли стрелять из большой пращи даже разбитыми колоннами от костелов. Не даром командира гуситских стрельцов звали Чёрт .
Колонна не всегда находилась в садах. Долгое время она действительно лежала на полу в костеле Петра и Павла. Иосиф II приказал, чтобы тяжелые камни вынесли наружу и бросили у стены костела. Там они и оставались до 1888 года.