История этого деревянного храма, являющегося памятником архитектуры деревянного зодчества регионального значения, начинается с 1870 года. Он разделил участь многих православных храмов: не раз закрывался и вновь, при усилии властей, был закрыт. В 1989 году в нем возобновились богослужения. К 1997 году храм практически полностью реставрирован и освящён. Но ночью 30 октября 1998 года случился пожар и храм сгорел. Так открылась ещё одна трагическая страница в его более вековой истории.
Во время своего визита владыка Герман отслужил молебен на начало доброго дела возле сгоревшего храма . Владыке сослужили благочинный Рыльского церковного округа протоиерей Владимир Ефремов, настоятель Рыльского Свято-Николаевского монастыря, игумен Панкратий (Заикин), настоятель храма иерей Игорь Ширяев. На молебен собрались жители села, а также глава сельского совета Виктор Анатольевич Талдыкин.
При осмотре сгоревшего храма владыка Герман благословил создание Попечительского совета по возрождению храма Святого Пророка Предтечи и Крестителя Господня Иоанна села Ольховка.
Первое выездное заседание под председательством митрополита Курского и Рыльского Германа планируется провести 28 августа в архиерейских покоях при Успенском соборе города Рыльска. На заседании будут рассматриваться организационные вопросы по восстановлению храма.