Mannen ble fraktet til Ålesund sykehus etter ulykken, som skjedde i 13-tiden lørdag, men livet sto ikke til å redde.
Politiet arbeider med å undersøke hva som har skjedd, opplyser Møre og Romsdal politidistrikt på Twitter.
Ifølge Sunnmørsposten dykket mannen sammen med en kamerat utenfor småbåthavnen i Mauseidvåg.
En båteier avisen har snakket med, forteller at han hørte rop om hjelp.
– Da jeg ble oppmerksom på hva som foregikk, ringte jeg til AMK-sentralen og hjalp til med å få mannen opp av vannet. Han var sammen med en dykkerkamerat, som begynte med førstehjelp allerede i vannet, forteller han.
Ifølge ham skulle de to dykkerne hjelpe en båteier på stedet med å hente opp noe som var mistet i sjøen.