Alexandre Vallaury tarafından tasarlanan ve 1900 ile 1910 yılları arasında inşa edildiği tahmin edilen bu yalı, klasik Boğaziçi yalılarından farklı bir mimariye sahiptir. Eklektik tarzda beyaz bir yapı olan yalı, dört katlı ve simetrik bir tasarıma sahiptir. Her katı farklı bir stil ile inşa edilmiş olan bu görkemli yapının dört kulesi bulunmaktadır. Yalı, ikinci sahibi olan Ahmet Afif Paşa'dan ismini almıştır. Yalının hemen arkasında, yalının bir parçası olarak inşa edilmiş olan Afif Paşa Mehtabiye Köşkü adında bir yalı köşkü ve koru bulunmaktadır.