Původní tvrz založena asi ve 14. století, v 16. století přestavěna na renesanční zámeckou budovu (zřejmě za Jana Bohuchvala z Hrádku). Po několika změnách majitelů statek získali Schreinerové, za nichž v roce 1798 provedena barokní úprava. Jednopatrová budova ve tvaru kříže má na fasádě dochované zbytky renesančních psaníček. Poplužní dvůr s pivovarem a lihovarem sloužil také k potřebám světoznámé lesní školky. Po druhé světové válce připadl městskému úřadu a JZD. V současné době je zámek v soukromém vlastnictví a byl zpřístupněn veřejnosti. Rezervace možné na www.zamek-nemilkov.com nebo na tel: 724048255.