Britisk minister sår tvil om brexit-start