1975 yılında Karayolları 7. Bölge Müdürlüğü’nde Şantiye Makina Mühendisi olarak göreve başladı.1978-1980 yılları arasında Diyarbakır’da askerlik görevini tamamladıktan sonra tekrar Karayolları 7. Bölge Müdürlüğü’nde Makina İşletme Mühendisi olarak çalışmaya devam etti.
1983 yılında Ankara Karayolları 4. Bölge Müdürlüğü’ne Makina İkmal Baş Mühendisi olarak atandı. 1987 yılında Karayolları Genel Müdürlüğü İkmal Şube Müdürlüğüne getirildi.1990 yılında Van Karayolları 11. Bölge Müdürlüğü’ne atanan Yusuf Ziya YILMAZ, 1992 yılında Samsun Karayolları 7. Bölge Müdürlüğü’ne getirildi. 6 yıl Samsun’da Karayolları 7. Bölge Müdürlüğü görevi yaptıktan sonra, 1998’de İstanbul Karayolları 17. Bölge Müdürlüğü’ne atandı.
1999 yılında Samsun’a hizmet için 23 yıllık görevinden ayrılarak, ilk kez 18 Nisan 1999 yerel seçimlerinde Büyükşehir Belediye Başkanı seçilen Yılmaz,28 Mart 2004 yerel seçimlerinde ikinci, 29 Mart 2009 yerel seçimlerinde üçüncü ve 30 Mart 2014 yerel seçimlerinde de dördüncü kez Büyükşehir Belediyesi Başkanlığına seçilmiştir.
6 Nisan 2018 tarihinde partisinden milletvekili adayı olabilmek için istifa etti.
27. ve 28. Dönem Ak Parti Samsun Milletvekillidir. TBMM Çevre Komisyonu Üyesi olarak görev yaptı. Ak Parti Genel Merkez Yerel Yönetimler Başkanı oldu.
7 Haziran 2023’de Çevre, Şehircilik ve İklim Değişikliği Bakanı olan Mehmet Özhaseki’den boşalan Genel Başkan Yardımcılığı’na getirildi.
07.10.2023’de yapılan 4. Olağanüstü Kongrede de Merkez Karar Yürütme Kurulu listesinde yer alan isimlerden oldu.
AK Parti Yerel Yönetimler Başkan Yardımcısı Karadeniz Bölge Sorumlusu, TBMM Çevre Komisyon üyeliği görevlerinde bulundu. Halen AK Parti Samsun Milletvekili / MKYK üyesi
Orta düzeyde İngilizce bilen Yılmaz, evlidir ve çocuğu yoktur.
