Ernst Lajos gazdag zsidó kereskedő családban született, de nem folytatta apja foglalkozását, a hagyományos nagykereskedelmet, hanem műgyűjtésre és a modern művészek pártfogására szánta el magát. Már 15 éves korában elkezdte gyűjteni a magyar vonatkozású képeket és tárgyakat. 1912-re már olyan mennyiségű történeti és művészettörténeti anyagot halmozott fel, amelynek alapján 1912-ben megnyitotta magánmúzeumát, az Ernst Múzeumot.
