1753-ra – Padányi Biró Márton veszprémi püspök megbízásából – Pókatelkén felépült a fivérének, Biró Istvánnak szánt emeletes, tágas kúria, a későbbi Sárga kastély, melyhez nagy birtok tartozott.
„Fivérünknek, Istvánnak (…) Pókatelken építettünk (…) egy tisztes és igen tágas rezidenciát, amelyet kívülről Szent Márton püspök és hitvalló kőből faragott képmása és más díszítmények és elemek ékesítenek.” – írja végrendeletében az épületről a püspök.
Biró István halála után az értékes udvarházat és javadalmait nősüléssel a pókateleki Kondé család szerezte meg, akik a 19. század legelején saját ízlésük szerint átalakították (oromzatára ekkor került fel a Kondé címer, fölé a hatalmas kőpulyka szobrával). Ők mintegy hatvan évig birtokolták a kastélyt, amely sokáig a település egyetlen emeletes háza volt.
1858-ra a Kondé családtól Wahlberg Miklós bécsi egyetemi tanár vette, s haszonbérbe adta. Wahlbergtől lánya örökölte meg, aki 1910-ben a galgóci illetőségű Dukesz-Herzog cégnek adta el, akik gazdasági célokra vásárolták meg. Az épületet 1938-tól a magyar katonai közigazgatás székhelyeként találjuk 1944-ig, amikor is a német, 1945-ben pedig az orosz katonai parancsnokság rendezkedett ott be. Röviddel ezután a csehszlovák katonai hatóság vette át az épületet. 1953-tól a földintézet használta a Sárga kastélyt egészen 1972-ig – amikor a Csallóközi Múzeum áttette oda a székhelyét az egykori Bacsák-féle Fehér kastélyból.
1977-ben felújították a kastély főépületét, amelyben a mai napig a múzeum állandó kiállítási termei találhatóak.
