Salah satu peninggalan sejarah Desa Panji adalah sebuah Goa yang bernama Goa Raksasa. Menurut cerita masyarakat Panji dahulu terdapat goa yang di dalamnya dihuni sesosok raksasa, dimana pada saat warga desa Panji melaksanakan upacara Usaba Desa dan mengadakan Tarian Rejang. Setiap kali diadakannya tarian tersebut, penari rejang yang terakhir selalu hilang.

Karena kejadian tersebutlah akhirnya warga memutuskan setiap penari Rejang mengantongi setengah kilo beras di pinggangnya. Hal itu bertujuan untuk memberi jejak kemana penari yang hilang, kemudian jatuhan beras yang dijadikan penanda jejak tersebut diikuti sampai ceceran beras tersebut berakhir tepat di depan mulut goa besar yang di dalam goa tersebut terdapat raksasa.

Kemudian warga setempat membakar kayu di depan mulut goa agar asapnya masuk ke dalam goa kemudian menutup mulut goa tersebut dengan tumpukan batu besar agar mulut goa tersebut bisa tertutup, yang bertujuan agar raksasa yang ada didalam goa tersebut ikut terbunuh. Kemudian asap yang keluar dari terbakarnya goa tersebut sangat besar, saking besarnya sampai menembus ke sebuah desa yang jaraknya lumayan jauh yaitu di Desa Batu Dinding.

Kemudian setelah warga Desa Batu Dinding mengetahui bahwa ada asap yang banyak, warga Desa Batu Dinding pun mencari sumber dari asap tersebut, setelah menemukan sumber dari asap tersebut akhirnya warga Desa Batu Dinding pun ikut menutup mulut goa tersebut dengan jineng atau gelebeg. Dan sampai saat ini di Desa Batu Dinding tidak ada dan tidak diperbolehkan mempunyai jineng. Munduk Pengorengan atau Bukit Pengorengan, merupakan salah satu peninggalan sejarah yang ada di Desa Panji.

Disebut dengan Munduk Pengorengan karena munduk tersebut persisi berbentuk seperti pengorengan yang terbalik. Munduk tersebut juga menjadi tempat beristirahatnya Ki Barak Panji Sakti bersama pasukannya setelah melakukan perjalanan dari Klungkung.

Dari Munduk Pengorengan beliau bisa melihat bentangan wilayah Buleleng yang dahulu disebut Den Bukit. Keesokan harinya beliau bersama pasukannya melanjutkan perjalanan menuju tempat pemereman di Pura Pejenengan Desa Panji.

Kedua objek wisata bersejarah diatas akan menjadi sangat menarik dan unik bagi wisatawan jika guide lokal Desa Panji mampu menceritakan sejarah dari objek wisata tersebut kepada wisatawan.