Politisjef Khalid Abu Bakar sier de ikke vet hvor mange døde som befinner seg i hver grav.
I sin redegjørelse for leirene la han til at det kan ha vært så mange som 300 mennesker i den største av dem.
Det er første gang det er oppdaget slike områder i landet siden krisen med smugling av fattige migranter fra Myanmar og Bangladesh oppsto tidligere denne måneden.
Det er ikke klart om levningene i massegravene stammer fra mennesker som tilhørte minoritetsgruppa rohingya fra Myanmar.
Smuglere har også brukt det sørlige Thailand som smuglerrute, og malaysisk politi sier ifølge avisa Utusan Malaysia at massegravene som nå er oppdaget, trolig har sammenheng med en massegrav som ble oppdaget på thailandsk side av grensen tidligere denne måneden.
Over 3.000 flyktninger, de aller fleste fra Myanmar og Bangladesh, har kommet i land i Malaysia og Indonesia de siste ukene etter å ha drevet rundt på sjøen i overfylte båter i uker og måneder.