Након смрти Краи Франца 1806. године управљање имањем наставила је његова удовица, све до 1829. године када је тај посао на себе преузео барон Јанош Непомук Краи са супругом Маријом Венкбајн. Њих двоје су живели безбрижно посветивши се неговању енглеског парка око Каштела. Имали су двоје деце сина Пала и ћерку Ирму.
Тај безбрижан живот наследника породице Краи трајао је до 1846. године када су почеле да се ређају трагедије, једна за другом.
Јаношев син Пал трагично је настрадао са само 16 година. Поздрављајући се са будимпештанском публиком која је врсног јахача дочекала овацијама на почетку једног такмичења, уплашен буком његов коњ се пропео, збацио јахача, који је на лицу места умро. Тако је породица Краи остала без мушког потомка.
Мајка и сестра се после погибије сина и брата селе на имање у Пожуну (Братислава), а барон Краи се одриче 6.900 катастарских јутара пустаре Емушић у корист своје мајке.
Уследила је убрзо и Револуција 1848/49. године. С обзиром да ситуација није била повољна за Каштел и град, 30. јануара 1849. године опљачкани су и делимично спаљени.
Само два месеца касније Јанош Непомук Краи запада у велике дугове услед проглашења укидања кметовских обавеза. Краи није хтео да се одрекне стечених навика те се нашао у великим проблемима.
Ипак, зет барона Краија, Јанош Зичи обнавља Каштел и исплаћује дугове свог таста, а после његове смрти 1852. године преузима имање.
Каштел је био и остао једна од најзначајнијих грађевина у Бачкој Тополи. Локално становништво каже да је то грађевина „са душом“ која крије многе неиспричане приче.
У Каштелу се данас налазе Градски музеј и Завичајни архив, а у приземљу су смештени галерија и сала за венчања.
Породица Краи заслужна је за оснивање Бачке Тополе. У католичкој цркви Безгрешне девице Марије у сребрној кутији чува се срце Пала Краија, док је његово тело сахрањено у Будимпешти. У црквеном броду налази се и гробница барона Јаноша Краија и сина Пала.
Тако су чланови ове породице заувек остали део Бачке Тополе.
Пројекат Породица Краи и култура Бачке Тополе суфинансира Министарство културе и информисаљња Републике Србије. Ставови изнети у подржаном пројекту нужно не изражавају ставове органа који је делио средства.