Основан приблизительно в VI в. н.э. В первой половине VII в. Гянджа была разрушена персами , а во второй половине - арабами . В середине Х в. Гянджа, стала столицей Шададитов – одного из мелких ханств на территории Азербайджана.
В середине ХI в. Гянджу захватили Сельджукиды. В 1139 году произошло большое землетрясение, которое разрушило город, в связи с этим он был перенесён в другое место. В результате землетрясения образовался ряд живописных озёр - Гек-гель, Марал-гель, Джейран-гель, Ордек-гель, Залигелю, Аггель, Гарагель и Шамлыгель.
После распада государства Сельджукидов Гянджа стала второй столицей государства Атабеков (XII—XIII вв.). В XVIII в. Гянджа — центр Гянджинского ханства .
В 1804 Гянджинское ханство было занято российскими войсками, а сама Гянджа переименована в Елизаветполь. В советское время Гянджа была переименована в Кировабад и была вторым после Баку промышленным и культурным центром Азербайджана. Историческое название возвращено городу после обретения Независимости в 1991 году.
За многовековую историю город стал обладателем многочисленных исторических и архитектурных памятников с ярко выраженным азербайджанским национальным колоритом. Здесь сохранились культовый комплекс Гей-Имам (XIV-XVII вв.), мечеть Джума (XVII в.) и множество колоритных старых домов, знаменитые каменные изваяния лошадей и других домашних животных, в изобилии встречающиеся в окрестных горах.
Знаменателен город еще и тем, что в нем родился величайший азербайджанский поэт Низами Гянджеви. Его мавзолей – место особенно посещаемое туристами.
В исторической части города, «старой Гяндже », сохранились остатки крепостных стен, башен, мостов (XII - начала XIII вв.), караван-сарай (ХVII в) - место стоянки и отдыха торговых караванов, здание бывшей ханской канцелярии (ХVIIв), мавзолеи (ХIV- ХVII в), мечети (ХVII в).