Die Burg wurde zwischen 13. - 14. Jahrhundert als Familienresitz der Herren von Budětice gegründet. Im 14. Jahrhundert. Im 14. Jahrhundert gehörte die Burg einem älteren Bušek und seinem Sohn einem jüngeren Bušek aus Velhartice. Beide waren Kammerherren des tschechischen Königs Karl der IV. Im 15. Jahrhundert verbarg Menhart von Hradec, der höchste Burgrave des Böhmischen Königreichs, die Kronklenodien von Velhartice. Im 17. Jahrhundert wurde das Anwesen vom kaiserlichen General Martin de Hoeff-Huerta erworben. Er ließ im oberen Burghof einen neuen Renaissance-Palast errichten. Während seiner Regierungszeit wurde die Region wieder katholisiert. Der letzte Besitzer des Adelsstaates in Velhartice war Josef Windischgrätz. Seit 1945 steht das Gebäude unter staatlicher Verwaltung.