Devlet hizmetindeki hayatı, babası ile beraber Gazne Devletinin Horasan valisi Ebü’l-Fazıl Es-Suri’nin hizmetinde bulunmakla başladı. 1040 yılındaki Dandanakan Savaşından bir süre sonra Alp Arslan’ın Belh valisi Ali bin Şadan’ın maiyetine girerek, vilayet işlerinin yürütülmesiyle vazifelendirildi. Selçuklu Sultanı Tuğrul Beyin vefatı ile Alp Arslan ve kardeşi Süleyman Bey arasındaki taht mücadelesi sırasında yerinde görüş ve tedbirleriyle dikkatleri çekti ve 1063 yılında Alp Arslan’ın yanında hizmete başladı. Alp Arslan Sultan olunca 1064 yılında Büyük Selçuklu Devletine vezir tayin edildi. Zamanın halifesi Kaim bi Emrillah tarafından Nizamülmülk ünvanı ile taltif edildi. Bu ünvanıyla tanındı.
Nizamülmülk, vezir olduğu 1064’ten, şehit edildiği 1092 senesine kadar aralıksız yirmi dokuz sene Büyük Selçuklu Devletine, tam bir dirayet ve adaletle hizmet etti. Vazifeli olduğu için katılamadığı Malazgirt Meydan Muharebesi hariç, bütün Selçuklu fütuhatında bulundu. Sultan Alp Arslan’ın vefatıyla veliaht Melikşah’ın tahta geçmesini sağlayıp, nizam ve asayişin korunmasında muvaffak oldu. Sultan Melikşah’a muhalefet eden veya başkaldıran Selçuklu prenslerinin itaat altına alınmasında büyük hizmeti geçti. Sultan Melikşah, devletin idaresinde ona çok büyük ve geniş yetkiler verdi. Nizamülmülk’ün akıllı, tedbirli ve adaletli idaresi sayesinde de, Melikşah’ın saltanatı, aynı zamanda Büyük Selçuklu Devletinin de en parlak ve en şanlı devri olmuştur.
Nizamülmülk, alim, edip ve kadirşinas bir zat olduğu için meclisi; ilim ve sanat adamlarının toplandığı bir yer haline gelirdi. Abbasi halifesi de kendisine pekçok hürmet eder, meclisinde bulunurdu. Âlimlere, şairlere, sanatkarlara karşı çok ikram, ihsan ve iltifat ederdi. Birçok cami, mescit, vakıf eserleri yaptırdı.
Büyük Selçuklu Devletine; idari, adli, askeri, mali, sosyal ve kültürel sahada pekçok yenilikler ve değişiklikler getirdi. Sarayı, merkezi hükümet teşkilatını, İslam esaslarına dayalı mahkemeleri, toprak sistemini sağlam esaslar üzerine yeniden düzenledi. Gerçekleştirdiği yeni sistemler bazı değişikliklerle beraber bütün Türk-İslam devletlerince devam ettirildi.
Nizamülmülk, zamanında yayılmaya ve kuvvetlenmeye çalışan bozuk fırkalara karşı, Ehl-i sünnet bilgilerinin sistemli bir şekilde öğretilmesi sağlandı. Bunun için Bağdat, Belh, Nişabur, Herat, İsfehan, Basra ve Musul gibi çeşitli şehirlerde, kendi ünvanı ile anılan Nizamiye Medreselerini kurdurdu. 10. yüzyılda Ehl-i sünnete muhalif cereyanların giderek yaygınlaşması sebebiyle İslam dünyasında ortaya çıkan karışıklıkların giderilmesinde Nizamiye Medreselerinin çok büyük hizmeti geçti. Bu medreselerin en meşhurlarından birisi de, Bağdat’taki Nizamiye Medresesi olup, asrın büyük alimlerinden birisi olan Ebu İshak-ı Şirazi burada ders vermekle vazifeli idi.
Nizamülmülk’ün Selçuklu Devletindeki bütün düzenleme ve değişiklikleri ciddi bir şekilde tetkik eden, devlet idaresinde kendi görüşlerini, icraatını ve bunların gerekçelerini gelecek nesillere intikal ettirmek maksadıyla Farisi olarak yazdığı Siyasetname isimli eseri, bugün siyaset ilmiyle uğraşanların el kitapları arasında sayılmaktadır. Siyasetname’de Türk-İslam devletlerinin idari, mali, siyasi, askeri, sosyal ve kültürel yönlerini incelemektedir. Tam doğru metin ve ilavesiz nüshası, İstanbul’da Süleymaniye Kütüphanesi, Molla Çelebi kısmında 114 numarada mevcuttur. Siyasetname, birçok dillere tercüme edilerek, yayınlanmıştır.