Гросс-Розен был создан летом 1940 года в дополнение к системе трёх основных лагерей: Дахау на юге, Бухенвальд в центральной Германии и Заксенхаузен на севере. В мае 1941 года лагерь передан в ведение SS-Deutsche Erd-und Steinwerke GmbH (земляные и каменные работы), в лагере силами заключённых построено предприятие по обработке камня.
В октябре 1941 года в лагерь Гросс-Розен доставлены и расстреляны солдатами СС 3000 советских военнопленных.
Лагерь Гросс-Розен известен тем, что в нём содержались пленные антинацистские активисты из оккупированных Германией стран, схваченные согласно директиве Гитлера «Ночь и туман».