Yılmaz, ilk orta ve lise öğrenimini Gaziantep'te tamamladı. 1983 yılında başladığı Ankara Üniversitesi Ticari İlimler Akademisini 1984 yılında bırakarak Gaziantep’te ticaret hayatına başladı. 2004 yılında Doğruyol Partisi Musayli ilçe Belediye Başkanı seçilen Yılmaz, 2009 yılı yerel seçimlerinde MHP'den tekrar seçildi. 2014 yılı yerel seçimlerinde AK Parti saflarında girdiği başkanlık seçimini tekrar kazanan Yılmaz, halen bu görevini sürdürmekte. Yılmaz, evli ve üç çocuk babası.