На вершине горного образования стоит церковь которая была построена между VI и VIII столетиями. До прихода христианства Кацхинский столп почитался местными жителями как символ бога плодородия. После прихода в Грузию христианства столп не потерял своё культовое значение. Люди верили, что это место, где человек может приблизится к Богу. На вершине горы христиане возвели храм и оправляли молитвы и религиозные обряды до тех пор, пока не началось вторжение Оттоманской Турции.
На столбе Кацхи, сегодня находится церковь которая была возведена из руин первого храма, склеп, винный погреб, и наружная крепостная стена на боковой неровной поверхности горы. Церковь Св. Максимa Исповедникa расположена в юго-восточной части поверхности Кацхи. Простой дизайн церковного зала, высотой 3.5 метров и шириной 4.5 метров, выложенный из камня полностью повторяет первый разрушенный храм. К югу от церкви находится небольшой слеп, служивший когда-то усыпальницей. У основания горы высечен Болнисский крест. Вверх можно подняться с помощью подвесной лестницы.