Vesnička Smilov vznikla nejspíš někdy na přelomu třináctého a čtrnáctého století. Bydleli v ní hlavně horníci z okolních stříbrných dolů. Zámek ve Smilově ale vyrostl až mnohem později. Až v roce 1701 ho nechal postavit Augustin Arnošt Schönovetz z Ungarswerthu.
Po něm smilovské panství koupili například Sinzendorfové, tedy rod, jehož členové zastávalipřední funkce v rakousko-uherské státní správě.
O více nežsto let později patřil zámeček ve Smilově také třeba pruskému premiérovi Karlu Antonínu Hohenzollern-Simaringenovi, jeho synovi Antonovi, který v uniformě pruské armády padl v bitvě u Hradce Králové, nebo Karlovuvnukovi Vilémovi, jehož potomci na přelomu devatenáctého a dvacátého století vládli Rumunsku.
Hohenzollernovévšak v době své největší slávy vlastnili šlechtická sídla v celé Evropě, malé – a navíc zadlužené – panství mezi tehdejším Německým Brodem a Jihlavou pro ně proto mělo minimální význam.
Neexistují žádnépísemné doklady o tom, že by čelní představitelé německého rodu někdy na Smilově dlouhodoběji pobývali.
Když pak nastal rozpad Rakouska-Uherska a po vzniku nové republiky byla vyhlášena pozemková reforma, Hohenzollernové nic nenamítali, aby on nich takřka nepoužívaný zámek odkoupil statkář Václav Skřivan.
Ten na něm spokojeně hospodařil celé meziválečné období, pak s obtížemi i během druhé světové války i krátce po ní. Pak ale přišel únor 1948 a bývalé šlechtické sídlo přešlo do vlastnictví „lidu“.
Zámek získalo nově zřízené JZD Štoky, které v něm zřídilo kanceláře a byty pro zaměstnance. O budovu se ale nikdo soustavně nestaral, brzy do ní začalo zatékat. Ještě před sametovou revolucí ji proto její obyvatelé opustili.
Po pádu totalitního režimu sice smilovský zámek v restitučním řízení znovu získalipotomci původních majitelů, kteří jej ostatně vlastní dodnes, peníze na nutnéopravy ale nemají. Budova tak zůstává nevyužitá a dál rychle chátrá.
Zámek senachází přímo ve vesničce Smilov, turisté se k němu snadno dostanou po vyasfaltované odbočce ze silnice, která spojuje Štoky a Šlapanov.