Herzog Lipót Mór báró Európa egyik és Magyarország leggazdagabb művészeti magángyűjteményének volt a tulajdonosa. El Greco, id. Lucas Cranach, Zurbarán, van Dyck, Velázquez, Renoir, Monet és mások alkotásai, továbbá bútorok, faliszőnyegek, szobrok, ötvösmunkák képezték a vagyonát. Volt olyan időszak, amikor az állomány 2500 műkincset számlált. Herzog 1934-ben bekövetkezett haláláig az Andrássy út 93. szám alatti palotában élt. Szállítmányozásból gazdagodott meg. Cége, a Herzog M. L. & Co. elsősorban visszleszámítolási és devizaügyletekkel foglalkozott. Halála után a vagyont három gyermeke között osztották szét. A kincsek kis része – feltehetően – még a II. világháború előtt külföldre került. Másokhoz hasonlóan a Herzog család is megpróbálta elrejteni a műkincseit, főleg a Budafoki Labor Vállalatnál, ahol azonban a nyilasok megtalálták. Amikor az egyik gyermek, Herzog István felesége és a munkaszolgálat során, 1943-ban eltűnt Herzog András özvegye a háború után Nyugatra csempészte az örökség egy részét, válaszul a magyar állam elkobozta Herzog Erzsébet itthon maradt örökségét. Ezek a képek kerültek azután a Szépművészeti Múzeumba (Hamvay, 2018).

Ezekből egy kisebb tételt (erdélyi ötvösmunkákat) a magyar állam 2014-ben az MNV Zrt.-n keresztül visszavásárolt (http://nol.hu/kultura/herzog-kincsek-kerultek-vissza-magyarorszagra-1491733). 1992-ig, az Egyesült Államokban élő Herzog Erzsébet 7 műtárgyat kapott vissza – kivétel nélkül ismeretlen mesterek alkotásait. Lásd még Komoróczy (2012b: 693–694).