Köy adını yörede yaşamış olduğu kabul edilen karaoğlan isimli bir evliyadan almıştır. Bu evliya yörede çalışan bir ağanın yanında çalışan çobandır. mezarının köyün kuzeyinde karacaoğlan dağı denilen dağın zirvesinde olduğu kabül edilir. 1877 -1878' de Osmanlı - Rus savaşı sonunda Berlin antlaşması ile savaş tazminatı olarak Ruslara bırakılan yörelerimizden biridir. 40 yıl esarette kalmıştır. Rus ve Ermenilerden kalma kışla, kazarma ve Köprü kalıntıları, yöremizin uzun yıllar Rus ve Ermeni işgalinde kaldığını göstermektedir. 1917 yılında Rusya' da yapılan Ekim devrimi nedeniyle yörede bulunan Rus birlikleri bir takım silah ve cephanelerini bölgedeki Ermenilere bırakarak çekilmişlerdir. Silah ve mühimmat yönünden güçlenen Ermeniler katliama başlamışlar, bu durum karşısında yöre halkı birkaç köyün birleşmesi ile çeteler kurarak Ermenilerle mücadeleye başlamışlardır. Bölgeye intikal eden düzenli birliklerin mücadelesi sonunda ilçemiz 28 Mart 1918' de İstiklaline kavuşmuştur.