Приходской костел Святого Войтеха в Ирхаржих был построен дубильщиками кожи, которые по-чешски называются "ирхаржи". Они жили в этих местах еще в XIII веке. Вероятно, на месте нынешнего невысокого староготического костела раньше стояла романская часовня, которую некоторые считают первоначальной святыней. К ней позже было пристроено главное помещение храма с восьмигранной алтарной частью.
Если обойти костел Святого Войтеха слева, со стороны отдельно стоящей колокольни, то можно увидеть надгробные камни с могил священника и рыцаря, когда-то захороненных на бывшем неподалеку кладбище. После перестройки этого района их вмонтировали в стену забора с дверью между домами №15 и №17.
О камне с неразборчивой надписью предание рассказывает следующее: если невинный молодой человек прочтет эту надпись, он поможет освободиться духу проклятого рыцаря, который по ночам бродит вокруг костела. Этот рыцарь заколол священника, потому что тот не хотел выдать за него замуж свою дочь. Он похитил девушку, за что и был казнен, а дух священника переставил буквы в надписи на его могиле.