Der er knyttet nogle sagn til Varnæs Kirke.
De to mest kendte sagn omhandler Kirkens placering & Junker Vigge.
Sagnet om Kirkens placering
Varnæs Kirke Skulle efter sigende være placeret på Kirkebjerg i Varnæs. Byggematerialer til en ny kirke blev lagt på Kirkebjerg, men da byggeriet skulle starte morgenen efter var byggematerialerne væk. Flere nætter blev alle byggematerialerne på mystisk vis flyttet til Kirkens nuværende placering, og flere morgener blev alle byggematerialerne flyttet tilbage til Kirkebjerg af håndværkerne. Til sidst opgav håndværkerne at flytte på byggematerialerne. Varnæs Kirke blev så bygget hvor den er placeret i dag.
Sagnet om Junker Vigge fra Varnæs Vold
Der er mange versioner af sagnet om Junker Vigga og hans store kærlighed Jomfru Ida. Fælles for de forskellige versioner er, at de er ulykkelige kærlighedsfortællinger om to unge mennesker.
Det siges at Jomfru Ida skulle være blevet begravet under et træ, der engang stod for den ene af Varnæs Kirke. Efter sigende græd Junker Vigge for sin elskede Ida ved træets fod, til der blev en lille hulning i træet med hans tårer. I træet var der en hulning med vand, frem til den dag det blev fældet.
Træet er ikke mere, men historien lever endnu.