港之祖祠，前代已有建立。明永樂十九年，上以天后屢著靈異，聞祖祠圯壞，特命內官赴港修整。及嘉靖時，倭人擾攘，民居盡被燬，獨祠不壞。祠內供奉始祖唐邵州刺史公暨后之高曾祖父兄並后寶像。順治辛丑年，奉文遷界，子姓將神主寶像暫寄於涵江天后宮，祠遂圯。康熙二十年，展界復回，鄉人同子姓鳩工建造，赴涵請歷代神主供於寢堂，寶像供於中廳。春秋二祭，皆在於斯。

世傳祠內寶像係異人妝塑，各處供奉之像皆不能及。以遷界寄奉涵江。至復界時，子姓到涵請回。涵之里人不肯。乃同詣神前卜筊，得九十九聖筊。涵江里人遂備船，用綵亭鼓吹，送寶像登舟。船甫開，雷雨驟至，隨船之後，而船不沾濡。既入祠，雷雨大作，水溢堂廡。鄉族之人不能行禮，口祝於后。雷雨即時屏息，風掃地乾。瞻拜者莫不詫異。嗣後凡有到祠請香火者，多有雷雨隨之，至今猶然。