Asó se oženil s Čikako Suzuki, která v současné době slouží jako ředitelka skupiny Asó a je dcerou bývalého premiéra Zenkó Suzuki. [8 ] Pár se vzal v roce 1983 a mají 2 děti, a to Masahira a Ajaka.
Říká se “vidět Neapol a zemřít”. My si to ale dovolíme upravit na “vidět japonskou Neapol a dát si čaj”. Přesně tak se totiž říká ráji milovníků japonských zelených čajů, prefektuře Kagoshima.