Památník se nachází asi 1 km východně od vsi Lety asi 500 m vlevo od silnice směrem k Orlíku nad Vltavou.

Památník byl vystavěn v místě bývalého vězeňského hřbitova u cikánského tábora, do kterého byly za fašistické okupace násilně umístěny rodiny většiny českých Romů. Zpočátku tu byl pracovní a později sběrný tábor, který byl v srpnu 1942 změněn velitelem nacistické bezpečnostní policie SS-Standartenführerem H. Böhmem na cikánský tábor.
Táborem prošlo za dobu jeho existence od srpna 1942 do května 1943 více než 1300 Romů, z nichž více než čtvrtina nepřežila a je pochována v místech současného památníku a na hřbitově v Mirovicích. Vězni, kteří přežili, byli deportováni do vyhlazovacího tábora v Osvětimi.

Autorem památníku založeného v roce 1995 je akademický malíř Zdeněk Hůlka.