Начиная с 1871 года, в Харьковскую городскую думу начали обращаться люди и компании с проектами строительства конки в Харькове. 2 марта 1881 года бельгийцы Клеман Бонне совместно с Эдуардом Отле обратились в Харьковскую городскую думу со своим обоснованием построения в Харькове конно-железной дороги, которое было принят. Бельгийское общество получило концессию на строительство и эксплуатацию конки в городе на протяжении 42 лет.
Движение конки в Харькове было открыто 24 сентября 1882 года (по новому стилю) по одноколейному маршруту «ул. Александровская у вокзала Азовско-Курской ж.-д. (сейчас — ул. Евгения Котляра) — Биржа на Николаевской площ. (сейчас — пересечение площ. Конституции и просп. Московского)» по ул. Екатеринославской (сейчас — ул. Полтавский Шлях) и мосту через реку Лопань.
22 января 1883 года линия продлена от Биржи до Реального училища на площ. Скобелевской (сейчас — площ. Героев Небесной Сотни) по ул. Московской и ул. Старомосковской (сейчас — 2 части просп. Героев Харькова) и мосту через реку Харьков.
30 июля 1883 года линия продлена от ул. Александровской непосредственно к вокзалу (сейчас Харьков-Пассажирский), а 30 августа 1883 года продлена от реального училища до Конного рынка по ул. Конной (сейчас — ул. Б. Хмельницкого), таким образом к 1884 году первый маршрут конки имел следующий вид: «Вокзал — Центр — Конный рынок».
5 сентября 1884 года введена новая линия конки от Реального училища к Конной площ. (сейчас — площ. Защитников Украины) по ул. Старомосковской (сейчас — просп. Героев Харькова), пущен (условный номер) маршрут № 1 «Вокзал — Конная площ.», направление к Конному рынку стало второстепенным (маршрут № 1а).
В 1885 году было построено первое конное депо у Конной площади
2 июня 1885 года введена новая линия «Биржа — ул. Ветеринарная (сейчас — ул. Иванова)» по ул. Сумской, пущен маршрут конки № 2 (условная нумерация).
4 июня 1885 года введена новая линия «Торговая площ. — ул. Москалёвская» по ул. Торговой, ул. Марьинской и ул. Москалёвской (до угла ул. Заиковской, сейчас — Гольдберговская). Новая линия соединена с Сумской линией, маршрут № 2 стал выглядеть таким образом: «Москалёвка — Центр — ул. Ветеринарная».
