1967 yılında Bingöl’de dünyaya gelen ve ODTÜ Kamu Yönetimi Bölümü mezunu olan Yılmaz, yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümünde, doktorasını Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde tamamladı.

Bugüne kadar Devlet Planlama Müsteşarlığı, AB ile İlişkiler Genel Müdürlüğü gibi görevlerde bulunan Yılmaz, 23’üncü dönemde Diyarbakır Milletvekili olarak siyasete girdi. 24, 25 ve 26’ncı dönemlerde de milletvekili olan Yılmaz, 27’nci dönemde de milletvekiliydi.

Parlamentolararası Birlik (PAB) Türk Grubu Başkanlığı yapan Yılmaz, 60’ıncı hükümette Devlet Bakanlığı, 61, 62 ve 64’üncü hükümetlerde de Kalkınma Bakanlığı yaptı.

Yılmaz, 63’üncü hükümette de Başbakan Yardımcısı olarak görev aldı. Yılmaz, 27’nci dönemde 2020 yılından bu yana TBMM Plan ve Bütçe Komisyonu Başkanlığı görevini sürdürüyordu.