Widmer začal svou hráčskou kariéru v SV Würenlos a FC Baden, než se přesunul do FC Aarau, kde stoupal v mládežnických řadách a brzy hrál pravidelně za rezervní tým Aarau.
Švýcarský pravý bek Silvan Widmer začal hrát ligu v roce 2011 za Aarau, o rok později jej koupilo italské Udinese, kde mládežnický reprezentant začal nastupovat v sezoně 2013/14 a strávil tam pět úspěšných let.