W1624 roku w Krakowie wybuchła zaraza. Ludzie umierali nie tylko w biednych dzielnicach – także wśród szlachty śmierć zbierała żniwo. Król Zygmunt wystraszył się, że i do pałacu choroba dotrze, więc postanowił Kraków opuścić. Udał się do Czemiernik, do swego przyjaciela Henryka Firleja, który całkiem niedawno zbudował tam okazały pałac, o którym w całym Królestwie mówiono. Spędził tam kilka miesięcy na przełomie 1625 i 1626 roku.