V roku 1753 dal postaviť veszprémsky biskup Márton Bíró Padányi v mestskej časti Pókatelek pre svojho brata Istvána Bíroho priestrannú poschodovú kúriu s rozsiahlym statkom, neskorší Žltý kaštieľ.
„Nášmu bratovi (..) sme postavili v časti Pókatelek (...) dôstojnú a veľmi priestrannú rezidenciu, ktorú zvonka zdobí biskup Szent Márton (sv. Martin) a jeho presvedčivý portrét vytesaný do kameňa a ktorú skrášľujú prvky a ornamenty“ – sa uvádza v záveti o budove po smrti biskupa.
Po smrti Istvána Bíroho cennú zemiansku kúriu a jej hospodárstvo sobášom vyženila rodina Pókateleki Kondé, ktorá si začiatkom 19. storočia kúriu upravila podľa svojich predstáv. Na priečelie bol umiestnený erb rodiny Kondé a nad erbom čnela monumentálna socha kamenného moriaka. Rodina Kondé si udržala vlastníctvo kaštieľa takmer 60 rokov. Dlhé obdobie bol kaštieľ jedinou poschodovou budovou v mestečku.
V roku 1858 Miklós Wahlberg, viedenský vysokoškolský profesor, budovu od rodiny Kondé odkúpil a prenajal. Kaštieľ zdedila jeho dcéra a v roku 1910 ho predala hlohoveckej spoločnosti Dukesz-Herzog, ktorá ju kúpila so zámerom hospodárskeho využitia. V rokoch 1938-1944 tu sídlila maďarská vojenská správa. V roku 1944 a počas roku 1945 tu sídlilo najprv nemecké a neskôr ruské vojenské velenie. Po skončení vojny budovu prevzal pod svoju správu československý vojenský úrad. V rokoch 1953-1972 bol kaštieľ sídlom pozemkového úradu.
V roku 1972 sa sem presťahovalo Žitnoostrovské múzeum, z budovy Bieleho kaštieľa rodiny Bacsákových, ktorému bol poskytnutý priestor pre stále výstavy a odborný výskum. V roku 1977 bola hlavná budova kaštieľa obnovená. V súčasnosti je tu umiestnená stála expozícia Žitnoostrovského múzea.