Zámok Letovice, postavený nad riekou Svitavou v 13. storočí, má pestrú históriu. Prvá zmienka je z roku 1360, ale predpokladá sa existencia už v druhej polovici 13. storočia. Husité hrad dobyli v roku 1424. Po rôznych majiteľoch prešiel v r. 1614 do rúk hraběte Thurna. V 17. storočí prešiel ranobarokovou prestavbou a v r. 1724 prešiel k rodine Blümegen.

Maďarská rodina Kálnoky získala zámok v r. 1820. Gustav hrabě Kálnoky, minister zahraničia Rakúska-Uhorska v rokoch 1881-1895, bol významný člen tejto rodiny. Po roku 1945 prešiel zámok do majetku MěNV Letovice. Po roku 1989 bol vrátený hraběti Kálnokymu, ktorý ho v r. 2004 predal Bohumilu Vavříčkovi. Súčasným cieľom je rekonštrukcia zámku a jeho sprístupnenie verejnosti. Majitelia zámku v minulosti zahŕňajú rody Letovic, Lomnice, Boskovic, Hardeka, Thurnu, Vrbna, Náchoda, Pohronce, Roggendorfu, Blümegen a Kálnoky, s Bohumilem Vavříčkom ako súčasným majiteľom od roku 2004. Gustav hrabě Kálnoky zomrel v roku 1898 a je pochovaný v kláštornom kostole sv. Václava v Letoviciach.