Castberggård var oprindeligt præstegården i den lille by Urlev 7 km fra Hedensted.
I forbindelse med sammenlægningen af to kirkesogne, blev præstegården sat til salg af Kirkeministeriet og købt af en række døveforeninger med henblik på at bruge det som kursussted.
I 1973 blev der for første gang afholdt weekendkurser af DO (Døves Oplysningsforbund) - som i 1992 skiftede navn til DHO - Døve og Hørehæmmedes Oplysningsforbund.
I 1986 blev døves højskole på Castberggård oprettet.
I 1990 blev der bygget en ny undervisningsfløj og et idrætscenter på Castberggård. Blandt andet med en idrætshal med internationale mål og et tennisanlæg, der blev indviet af HKH Kronprins Frederik. 
I 1992 startede projektafdelingen (det nuværende Job- og Udviklingscenter), der arbejder med jobskaffelse og jobfastholdelse for døve og hørehæmmede. I første omgang med jobskaffelsesprojekter for døve, og kort tid efter med både jobskaffelse og jobbevarelses for døve og hørehæmmede.
I 1994 blev der indrettet endnu en ny undervisningsfløj med syværksted, maleværksted og et auditorium med plads til 80 personer.
I 2000 blev der bygget en fløj mere med to tegnsprogsundervisningslokaler, pause/hyggeareal, motionsrum og 8 enkeltværelser.
Bygninger og værelser renoveres løbende. I sommeren 2009 blev der installeret trådløst bredbånd, som dækker alle Castberggårds værelser og undervisningslokaler.