Это старинное русское слово в современном языке значит «удаленное, малонаселенное место, глушь» и относится к разряду архаической, устарелой лексики. В русских народных говорах захолустьем и сейчас называют чащу в лесу, глухое место, с которого не видно поля. Наряду с формой захолустье в народной речи встречаются формы захолусье, захолузье и захолужье. Они-то и проясняют внутреннюю форму и смысл слова.

Холудье или холустье — это кустарник, мелкий лес, хворост. Захолустье буквально значит «место за кустарником; глухая чаща» – то, что находится за холудьем или холустьем, в закрытой, темной, дикой и сорной части леса.

Из этого буквального значения «глухая чаща леса» со временем в языке развились и другие, переносные. Захолустьем стали называть всякую глушь, а не только лесную; захолустье – это и «глухое удаленное место» вообще, и даже «тихая окраина города». «Захолустье – закоулок или малолюдная часть в городе», – читаем в Словаре В. И. Даля.

В современном русском литературном языке слово захолустье имеет довольно ярко выраженный оттенок осуждения. В «Словаре русского языка» С.И. Ожегова читаем: «Захолустье – место, далекое от культурных центров, глухая провинция». Словарь иллюстрирует это значение примером: «Дореволюционное захолустье».

А.К. Саврасов, "Радуга", 1875 г.