इस मंदिर का एक और प्रमुख आकर्षण यहां मौजूद चुम्बक है। यहां मौजूद चुंबक पर भी कई रहस्य और किंवदंतियां हैं। कई कथाओं के अनुसार, सूर्य मंदिर के शिखर पर एक चुम्बक पत्थर लगा है। इसके प्रभाव से कोणार्क के समुद्र से गुजरने वाले सागरपोत, इस ओर खिंचे चले आते हैं, जिससे उन्हें भारी क्षति हो जाती है। एक अन्य कथा के अनुसार, इस पत्थर के कारण पोतों के चुम्बकीय दिशा निरूपण यंत्र सही दिशा नहीं बताते। इस कारण अपने पोतों को बचाने हेतु, मुस्लिम नाविक इस पत्थर को निकाल ले गए। यह पत्थर एक केन्द्रीय शिला का कार्य कर रहा था, जिससे मंदिर की दीवारों के सभी पत्थर संतुलन में थे। इसके हटने के कारण, मंदिर की दीवारों का संतुलन खो गया और परिणामत: वे गिर पड़ीं। परन्तु इस घटना का कोई ऐतिहासिक विवरण नहीं मिलता, न ही ऐसे किसी चुम्बकीय केन्द्रीय पत्थर के अस्तित्व का कोई ब्योरा उपलब्ध है।