Kasabanın kurucularından olan Aşiret Reislerinden birisinin adının Gazi olduğu ve Gazi ismini bu şahıstan aldığı söylenmektedir.
Kuruluş tarihi ise 1703 ile 1710 arasıdır. Kasaba, 1989 yılına kadar köy iken 1989 tarihinden sonra Belediye olmuştur. 1968 yılında Kayserili şair Hasan Sami Bolak 2 gün konuk olarak kaldığı Gaziköyde şu kısa şiiri yazmıştır: