Das Pilatushaus wurde gemäß der Geschichte, welche auf der Fassade des Hauses bemalt wurde, benannt. Es gilt als das schönste Haus in Oberammergau. Die Szene des Gerichts des Pilatus über Christus war vom Gründer der Technik Lüftlmalerei Franz Zwink im Jahre 1784 durchgeführt.
Bis zum Ende des 19. Jahrhunderts diente es als ein Wohnhaus und wurde sogar fast abgerissen, da man vorgehabt hatte, auf diesem Ort einen Parkplatz zu erbauen. Den Einwohnern von Oberammergau war es aber gelungen, das Pilatushaus zu retten. Jetzt befindet sich dort das Zentrum für Kunst und Kunsthandwerk, in dem man nicht nur die geschnitzten Figuren oder Keramik von lokalen Handwerkern kaufen, sondern auch ihre Arbeit beobachten kann. Auch ein Museum der Glasmalerei mit einer riesigen Sammlung von Glasmalereien ist dort geöffnet.