The town was originally a fishing village. The shop at Paternoster (Bowinkel) "Oep vir Koep" was originally 'n fish factory that extracted oil from "tornyn", a kind of sea-bul. The oil was mostly used for medicinal purposes. The factory belonged to Stephan Broers.

Over the years the bay had it's share of Shipwrecks. The SS Ismore (1899) and the SS Lisboa (1910), carrying a load of wine, both sank near Paternoster. Aunty Sêrra Pieters (83), who is still living at Paternsoter, tells how as children they dug out the wine vat from under the sand dunes and used it as containers for water. She also sings songs from yesteryears describing the sinking of the Ismore and the Lisboa. A lot of the inside doors in the fishermen's cottages at Paternoster have been made of wood from ship wrecks that had washed ashore.

Aunty Selma tells how Norwegian sailors regularly came to danced at a dancing venue that her Grandmother had at Paternoster. At one stage a sailor forgot his jacket there. Aunty Sêra's mother, who was eight at the time and as curious as any child, went through the pockets and found a wedding ring. She kept it a secret until she married with it at the age of twenty one.
Since then five other couples have been married using the ring of the unknown sailor. The ring is still in Aunty Selma's family.

Die oorsprong van die naam "Paternoster" is nog onbekend. Sommige mense dink dit is te danke aan die Portugese seemanne wat die "Onse Vader" of "Paternoster" gebid het terwyl hulle om die baai geseil het. Die krale wat die Khoistamme gedra het, is egter ook Paternosters genoem.

Die dorpie is egter oorspronklik 'n vissersdorpie. Die winkel op Paternoster (Bowinkel) "Oep vir Koep" was dan ook eers ‘n fabriek wat tornyn (tipe seebul) olie onttrek het, hoofsaaklik vir die maak van medisyne. Die bedryf het aan die Stephan Broers behoort.

Met die jare was daar ook verskeie skepe wat daar tot niet gegaan het: Die SS Ismore(1899) en die SS Lisboa (1910) met ‘n vrag wyn op het naby Paternoster gesink. Antie Sêrra Pieters (83), tans nog woonagtig op Paternoster, vertel dat hulle as kinders die wynvate onder die sandduine uitgegrawe en dit is as waterhouers gebruik het. Sy sing ook nog liedjies uit vervloë se dae wat die beskrywing van die sinking van die Ismore en Lisboa vertel.
Talle van die vissershuisies op Paternoster se binne deure is van uitgespoelde skeepshout gemaak.

Heerlike resepte met Hottentotsvis en mossels word steeds deur die inwoners van Paternoster gekook. Die invloed van die Portugese kultuur is ook duidelik sigbaar met smooruie en groenpeper wat byna in elke dis gebruik word.
Antie Selma vertel mens dan ook met groot smaak van al die seekosdisse waarby wilde knoffel, inheemse platblaar pietersielie en wilde roosmaryn gevoeg word. So het sy ook ‘n goeie raad vir blink gesonde hare, deur dit met ‘n treksel wilde roosmarynwater af te spoel.

Sy vertel my ook hoe die ‘Norwegian’ matrose gereeld kom dans het by die dansplek wat haar ouma op Paternoster gehad het. Op ‘n kol het een van die matrose dan ook sy baadjie daar vergeet. Haar ma het as agtjarige dogterjie, nuuskierig soos ‘n kind nou maar is, in die baadjie gekrap en op ‘n trouring afgekom. Die het sy in geheime bewaring gehou tot die dag dat sy op een-en-twintigjarige leeftyd getroud is met die rooi goud trouring van ‘n onbekende Noorweegse matroos. Vyf ander pare op Paternoster is met dieselfde ring getroud en is nog in Antie Selma se familie.

Interessante Feite oor die Paternoster Hotel:
Het jy geweet dat die Hotel op Paternoster gebou is in 1863? Die gebou moes onder andere dien as skool, polisiestasie, winkel, tronk (Die gedeelte wat deesdae die kroeg is, was eers die tronk.)en klerewinkel. Die huidige danssaal was onder andere gebruik om boere se graan te stoor wanneer die boere ekstra stoorplek nodig gehad het. Daar was ook 'n ou sandpit wat vir spitbraaie gebruik was.

In 1940 het Mnr. Tollmann die gebou gekoop en 'n hotel gevestig. Na 8 jaar is hy egter terug Engeland toe. Sy kinders het in 1997 kom besoek aflê en 'n groot gedeelte van die fondse benodig vir die gemeenskapsaal geskenk, vandaar die naam van die Tollmann saal.

Die besigheid het met die jare verskeie eienaars gehad, o.a. Mnre. Sanks, Harrier, Smit en Walters. In 1965 koop Paternoster Visserye dit en in 1970 koop Mnr. Hendrik de Goede vir Paternoster Visserye en word so eienaar van die hotel. In Oktober 1970 koop Mnr. Johan Carosini (die huidige eienaar) die besigheid.