Grad Gradac stoji na tromeji občin Črnomelj, Semič in Metlika v okljuku reke Lahinje v središču vasi Gradac. V grad se lahko gre peš ali z avtom čez lesen most preko obrambnega jarka.
Grad Gradac je prvič omenjen v 13. stoletju kot Graecz, verjetno po imenu lastnika Herbert von Graecz. Kasnejši lastniki so bili Jurij Lell, grofi Thurn-Valsassina, Purgstallovi in za njimi v obdobju od leta 1661 do 1846 baroni Gusiči. Odtlej so se zvrstili še vitez Friedau, rodbina Ottenfels-Gschwind in nazadnje veletrgovec Šutej iz Zagreba. V Valvasorjevi knjigi je grad omenjen kot Gradez. Po vsej verjetnosti je prav dolgoletni vpliv hrvaških baronov Gusičev pripomogel k temu, da se je končnica -ec, ki je sicer tako značilna in pogosta pri poimenovanju slovenskih krajev, postopoma spremenila v končnico -ac. Grad je bil v svoji zgodovini večkrat prezidan. V začetku je bil verjetno utrdba proti Turkom z obrambnim jarkom.
Pripovedka o gradaškem grbu
Bilo je to še v tistih časih, ko so Turki strašili po naši deželi. V neki tihi noči so se odločili napasti gradaški grad. Dvižni most je bil dvignjen in grajska vrata zaprta, ko so se Turki priplazili do obzidja. Pristavili so lestve k obzidju in pričeli ropotati okoli gradu. Hrup pa je vznemiril podgane, ki so se razbežale na vse strani. Pričele so za rep gristi grajske gosi, ki pa so zagnale velik vik in krik in tako prebudile grajske hlapce, ki so se še zadnji trenutek lahko postavili po robu nepovabljenim gostom.V spomin in zahvalo za srečno rešitev gradu je dal graščak v svoj grb podobo podgane in gosi. Grb je vklesan v kamen nad vhodnimi vrati gradaškega gradu.