Erzincan, yıllar boyunca çeşitli medeniyetlere ev sahipliği yapmış Doğu Anadolu'nun tarihi şehirlerinden biridir. Coğrafi konumu dolayısıyla tarihin çeşitli dönemlerinde karayolu ve demiryolu ağının kesişim noktası olan bu şehir, asırlar boyunca doğu-batı, kuzey-güney yönlerine giden ticaret yolları kavşağında konumlanmıştır. Ancak, Erzincan'ın kuruluş tarihi konusunda kesin bir bilgi halen mevcut değildir. Ancak Asur kaynaklarına göre, bölgenin bilinen en eski ismi Zuhma (Suhmi- Suhma) olarak geçer.

Tarihi zaman sürecinde adı Aziris ya da Eriza olarak anılan şehir, Selçuklular tarafından 11. asırda Erzingan olarak adlandırılmıştır. İlerleyen yıllarda ise bugünkü adı olan Erzincan'ı almıştır. Bölgenin tarihine dair yürütülen araştırmalar, Erzincan'ın geçmişinin Paleolitik Çağ'a kadar uzandığını öne sürmektedir.

Öte yandan, Erzincan ovasında gerçekleştirilen arkeolojik kazılardan elde edilen bulgular, bölgenin tarihini M.Ö 3000-2000 yıllarına kadar götürmektedir. Tarihteki yolculuğunda Urartu, Med, Pers, Helen, Roma ve Bizans gibi birçok medeniyet tarafından egemenlik kurulan Erzincan; ayrıca Müslüman Araplar tarafından 638 yılında, halife Hz. Ömer döneminde ilk kez ziyaret edilmiştir.

1071 yılından sonra Türklerin hakimiyeti altına geçen Erzincan, Mengücek, Selçuklu ve Eretna dönemlerini yaşamıştır. 1473 yılında gerçekleşen Otlukbeli Savaşı sonrasında Osmanlı hakimiyetine geçen şehir, Birinci Dünya Savaşı'nda Rus işgaline uğramıştır. Ancak 13 Şubat 1918'de Türk ordusu tarafından kurtarılan Erzincan, o tarihten itibaren Osmanlı hakimiyetinde çeşitli idari statülerde yönetilmiştir. 

Erzincan'da 1939 yılında yaşanan şiddetli bir deprem sonucunda şehir tamamen harabeye dönmüş ve on binlerce insan hayatını kaybetmiştir. Depremin ardından başlatılan yeniden inşa sürecinde bugünkü modern Erzincan şehri ortaya çıkmıştır.