Byl ženatý s baronkou Marií von Wallersee (1858–1940), neteří císařovny Alžběty. Marie Larisch-Wallersee patřila k významným osobnostem císařského dvora a dosud neobjasněnou úlohu sehrála také v případě smrti korunního prince Rudolfa. Poté upadla v nemilost, rozvedla se s manželem (1896) a útoky na rodinu Larischů byly nakonec příčinou sebevraždy jejího syna Jindřicha (1886–1909). Na svou obhajobu sepsala paměti, které však v Rakousku nesměly vyjít (v češtině byly vydány v roce 1993). V době manželství s Jiřím Larischem byla podle projektu architekta F. Schmoranze (1814-1902) postavena Vila Larisch v Pardubicích (viz wikipedie).

Jeho děd c. k. ministr financí Jan hrabě Larisch-Mönnich (1921-1884) dne 28. 7. 1866 schválil kupní smlouvu na panství Pardubice (viz SOA Zámrsk, NAD 377 Velkostatek Pardubice 1494-1952, inv. č. 575 Prodej velkostatku 1866, karton 1) k datu prodeje 25. 6. 1863, které získala akciová společnost c. k. Rakouský úvěrní ústav pro obchod a průmysl (společně s Leopoldem rytířem von Lämmel), aby ho následně mohla se ziskem zpeněžit (viz Petr Mücke: Kunětické družstvo. Historie záchrany významné přírodní a kulturní památky. In: Východočeský sborník historický 14, 2007, s. 144).