V Gradcu je v obdobju od leta 1858 do 1882 obratovala za tiste čase sorazmeroma velika železolivarna, v kateri je bilo stalno zaposlenih 50 delavcev, s pridobivanjem rud in zunanjimi deli pa si je preko nje kruh služilo več kot 300 delavcev ter po 20 do 30 voznikov. 18. junija 1944 je bil v krajevni dvorani v Gradcu ustanovljen Rdeči križ Slovenije. V letih 1944/45 je bila v gradu oficirska šola. Gradac je bil včasih trg in po drugi svetovni vojni do konca junija 1955 samostojna občina. Odtlej KS Gradac upravno spada pod občino Metlika, medtem ko v verskem pogledu že od nekdaj spada pod faro Podzemelj. Nekoč kar bogato kulturno življenje (npr. legendarno pustno društvo Gradaški mački, teater v krajevni dvorani) je v zadnjih petnajstih letih skorajda povsem zamrlo. Vendar so se gradaški mački v zadnjih dveh letih udeležili poletnem karnevalu na Kolpi in na tam opozorili na propadajoči grad.