Yarmouth ligt op de westelijke kant van het Isle of Wight. De plaats ligt aan de monding van de rivier de Western Yar, vandaar de naam Yarmouth.

Het stadje heeft twee bezienswaardigheden; het Yarmouth Castle en de pier. Deze is gebouwd in 1876 en is de langste houten pier in Engeland die nog steeds open is voor het publiek.

Yarmouth harbour