Karloff 1909'da Kanada'ya göç etti ve ertesi yıl gezici bir tiyatro topluluğuna katıldı.1918'den başlayarak, tiyatro oyunculuğunun yanı sıra sessiz filmlerde de küçük roller aldı.1931'de The Criminal Code filmindeki, bir önceki yıl Broadway'de de canlandırdığı mahkum rolüyle adını duyurdu.Hollywood'un ilk önemli canavar filmi olan korku sineması klasiği Frankenstein (1931), Karloff'u bir gecede büyük üne kavuşturdu.Karloff aynı tip rolleri bu filmi izleyen Bride of Frankenstein (1935) ve Son of Frankenstein (1939) filmleriyle de sürdürdü.Kendine özgü konuşmasız, robotik tarzıyla, sağır-dilsiz katil tipini canlandırdığı The Old Dark House (1932) ve sinemanın en ürpertici sahnelerinden birinde dirilerek yaşamını başka bir bedende sürdüren sevgilisini geri isteyen mumyayı canlandırdığı The Mummy (1932) gibi filmlerde aynı çizginin devamıydı.The Mask of Fu Manchu 'da (1932) kötü Fu Manchu'yu ve 1938-1939'da da Mr. Wong dizisinde Çinli dedektifi oynadı.
Karloff, 1941'de tiyatroya döndü ve Broadway'de Arsenic and Old Lace 'de sahneye çıktı.Daha sonra Peter Pan (1950) oyununda Kaptan Hook'u canlandırdı.Ayrıca radyo ve televizyon programlarına da çıktı.