Aslen Rizeli olan Yıldırım, dedelerinin göçü nedeniyle Bayburt nüfusuna kayıtlıdır. 1960 yılında Ümraniye’de doğmuştur. İlk ve ortaokulu Ümraniye'de okumuş, liseyi Bakırköy'de bitirmiştir. 1982 yılında Yıldız Teknik Üniversitesi'nden İnşaat Mühendisi unvanıyla mezun olmuştur. Mezuniyetin ardından aile şirketinde müteahhitlik yaparak birçok konut ve tesisin yapımını gerçekleştirmiştir. Bu yıllar müteahhitliğin yanında çeşitli meslek kuruluşlarında ve sivil toplum örgütlerinde görev almıştır. 1999 yılında KİPTAŞ'a Genel Müdür olan İsmet Yıldırım, görev süresi boyunca İstanbul'un çeşitli semtlerinde teknik donatı alanları, okulları, camileri ve çarşılarıyla modern şehirler kurmuş olup, bu şehirlerdeki konut sayısı 80 bine ulaşmıştır. Uzun yıllar üzerinde çalıştığı, proje ve bürokratik işlemlerin tamamlandığı tarihi ve kültürel Süleymaniye Projesi'nin inşasına da başlamış bulunmaktadır. Evli ve iki çocuk babası olan Yıldırım, İngilizce bilmektedir.