Ünlü orta saha oyuncusu uzun futbol kariyeri boyunca şu klüplerde oynadı: FC St. Mirren (1963-1967), Preston North End (1967-1970), Derby County (1970-1977), Nottingham Forest (1977-1979), Birmingham City (1979-1982), Wigan Athletic (1982), Derby County (1982-1984).
43 milli maçta İskoçya adına 8 gol atan Gemmill aynı zamanda 1978 yılında Dünya Kupası`na katılan İskoç takımında da yer aldı. Hollanda`ya karşı oynanan ilk tur maçında iki gol atarak İskoçya`da bir "halk kahramanı" oldu.
Futbolculuğu bıraktıktan sonra 1990`ların ortalarında iki sezon Rotherham United F.C. takımının menajerliğini yaptı. Günümüzde İskoçya 19 yaş altı futbol takımının çalıştırıcılığını yapmaktadır.