Jean Henri Marie George Caroly wordt in Brussel geboren als zoon van Anna Bosman en ene heer Caroly. Maar dat laatste is niet volledig zeker, er wordt gefluisterd dat George een bastaardzoon van koning Leopold II is. Anna is hofdame geweest en wanneer zij later in landhuis Appelkanthof in Boechout gaat wonen, zou de Belgische vorst daar regelmatig als bezoeker gesignaleerd zijn. 

George zelf wordt rechter bij de Rechtbank van Eerste Aanleg te Antwerpen. Naast het buitenverblijf in Boechout heeft hij een woning in de stad, waar hij het leeuwendeel van het jaar verblijft. Voor de latere baron Caroly is dat een statig huis aan de Antwerpse Komedieplaats, recht tegenover de Bourlaschouwburg. Geen schone schijn, de man houdt echt van cultuur en elke kamer van zijn woning puilt uit van de kunst - hij laat zich op het eind van zijn leven temidden van al dat kostbaars fotograferen, zodat we achteraf precies weten wat hij zoal verzamelde: Europese kant, antiek borduurwerk, Bulgaarse sierkleden, kussens uit Perzië en China, wandbehang uit Oesbekistan en als topstuk een 17de-eeuws Antwerps kunstkabinetje met op de laden geborduurde voorstellingen van de 'Metamorfosen' van Ovidius. 

Caroly's vakkennis is voor de Antwerpse burgemeester Camille Huysmans aanleiding om George met een speciale missie naar Londen te sturen. Daar wordt het schilderij 'De Familie van Berchem' van de Antwerpenaar Frans Floris geveild en Huysmans wil daarop een bod laten uitbrengen namens het stadsbestuur. Hij limiteert de aankoopsom tot 400.000 frank, maar Floris' werkstuk haalt op de veiling een hoger bedrag. Toch vindt Caroly dat hij het doek voor Antwerpen moet verwerven, dus biedt hij mee tot de hamer op 500.000 frank definitief valt en Caroly met de hele 'Familie' naar België kan afreizen. Zijn passie wordt evenwel allerminst door Huysmans gedeeld, die vindt dat Caroly zich aan de afspraak van 400.000 frank had moeten houden. Het geschil loopt zo hoog op, dat George uiteindelijk besluit het gekochte kunstwerk voor zichzelf te houden. Hij heeft al een testament gemaakt, waarbij hij zijn kunstcollectie voor de helft aan Antwerpen en voor de helft aan Boechout legateert. Na dit incident schrapt hij Antwerpen uit zijn laatste wil.