В 1897 году вступила в строй железнодорожная линия Елец - Касторная, в результате чего была образована станция, получившая название Тербуны по одноименному большому селу, расположенному в 20 верстах к востоку (ныне село Вторые Тербуны). Основателями возникшего поселения стали купеческие семьи из Ельца и Ливен.

Поселок быстро рос. В 1928 году он стал центром административного района. По переписи 1926 года в Тербунах насчитывалось 145 дворов и 613 жителей. В 1997 году население села превышало 7,4 тыс. человек.
В основе названия, как считает краевед А. Голубев, - корень древнерусского глагола "теребити". Первые поселенцы этих мест - выходцы из Смоленской губернии - занимались возделыванием льна. Тех, кто его "теребил", т.е. обрабатывал, отделял волокна, в старину называли "теребунами".

В 1912 году в Тербунах уже действовала частная аптека, ветеринарный пункт, пожарная команда, строились дома.
После победы Октябрьской революции станция и присоединившийся к ней небольшой поселок стали подконтрольны Урицкому Волостному Совету, представители которого собирали хлеб для нужд Красной Армии, поддерживали порядок на железной дороге. К 1925 году в Тербунах действовал сельский Совет под руководством крестьянина деревни Плехановка П.Ф. Лукашова, создавались партийные ячейки.

9 июля 1928 года в Тербунах, ставших главным селом района, произошло оформление первого состава районной власти. Председателем Тербунского районного исполнительного комитета был избран Степан Варнавский. С этого времени стала заметно расширяться материальная база райцентра, вступил в строй элеватор, машинно-тракторная станция и радиоузел.
В годы Великой Отечественной войны тербунцы вместе со всей страной поднялись на борьбу с немецко-фашистскими захватчиками. На территории района в декабре 1941 года в зданиях больницы и средней школы расположился военный госпиталь, создавались резервные партизанские отряды.

С февраля 1943 года, после освобождения района, начались восстановительные работы, развертывалось строительство. Всего в послевоенные годы до середины семидесятых годов в селе выросло около 40 объектов промышленного, культурного и социального назначения, было построено свыше 60-ти многоквартирных домов.