Historia osady sięga średniowiecza - w XI/XII w. był tu gród kasztelański. Prawa miejskie Grójec otrzymał w 1419 r. Osadnictwo Żydów nastąpiło stosunkowo późno - dokumenty potwierdzają ich obecność dopiero na początku XVIII w
Grybów został założony w 1340 roku przez Kazimierza Wielkiego. Nie wiadomo, kiedy do miasta dokładnie sprowadzili się Żydzi. Mogło mieć to miejsce około XVII wieku. Pierwsze zapiski na temat istnienia żydowskiej społeczności w Grybowie pochodzą z XVIII wieku
