Fiskeriministeren har meldt seg ut av Frimurerlosjen