Książę Filip był najmłodszym z piątki dzieci księcia Grecji i Danii Andrzeja oraz księżnej Alicji Battenberg. Pomiędzy nim a najstarszą siostrą było aż 16 lat różnicy. Chronologicznie rodzeństwo "składało się" z księżniczki Małgorzaty (ur. 1905, zm. 1981), księżniczki Teodory (ur. 1906, zm. 1969), księżniczki Cecylii (ur. 1911, zm. 1937) i księżniczki Zofii (ur. 1914, zm. 2001). Kiedy przyszły mąż Elżbiety drugiej miał 18 lat, rodzina musiała opuścić rodzinną Grecję i rozpoczęła tułaczkę po Europie.
Najstarsza z sióstr, czyli księżniczka Małgorzata (tak ma na imię również młodsza siostra królowej Elżbiety) wyszła za mąż za księcia Gottfrieda z Hohenlohe-Langenburg, który był jej kuzynem, trzeciego stopnia. Mieli sześcioro dzieci. Książę Filip utrzymywał z nią stały kontakt aż do jej śmierci w 1981 rok. Mąż księżniczki początkowo wspierał nazistów, jednak ostatecznie obrał przeciwny kierunek i sprzeciwił się rządom Hitlera.
Księżniczka Teodora z kolei była jedyną z sióstr, które nie wyszły za nazistę. Jej mężem został margrabia Badenii Bertold, z którym miała trójkę dzieci. Teodora zmarła w 1969 roku, na kilka tygodni przed swoją marką księżną Anną Battenberg.
Tragicznie zakończyły się losy ulubionej siostry księcia Filipa Cecylii. W 1937 roku w wieku 16 lat zmarła w katastrofie lotniczej w Belgii. Oprócz niej, śmierć poniósł jej mąż, wielki książę Jerzy Donatus z Hesji i Renu, jej dwaj synowie oraz teściowa. Podczas badania ciał okazało się, że Cecylia była w ciąży, a na skutek stresu związanego z wypadkiem doszło do przedwczesnego porodu. Inna wersja tej historii mówi, że to właśnie ze względu na przedwczesny poród doszło do podjecia prób lądowania przed czasem. Cecylia i jej mąż byli członkami parti nazistowskiej.
Najmłodsza z sióstr księcia Filipa Zofia po raz pierwszy wyszła za mąż w wieku 16 lat za dyrektora w Ministerstwie Lotnictwa Rzeszy, posiadającego stopień Oberführera SS Christopha Heskiego. Para miała pięcioro dzieci. W 1946 roku wyszła z kolei za księcia Jerzego Williama z Hanoweru (również mającego powiązania z nazistami) i urodziła mu troje kolejnych dzieci. Zofia była chyba najbardziej związana z nazistowskimi dygnitarzami. Wraz z pierwszym mężem obracała się w kręgach najwyższych urzędników i bliskich Hitlera. Nieprzypadkowe więc wydaje się nadanie jej najstarszemu synowi imion Karol Adolf.
Kiedy Filipa (zgodnie z intencją wuja) zaczęto traktować poważnie jako kandydata do ręki Elżbiety, wiadomo było, że jego rodzina będzie słabym punktem tej kandydatury. Choć korzenie miał arystokratyczne, to związki jego sióstr z nazistami, szczególnie w okresie wojennym i powojennym, sympatii Brytyjczyków budzić nie mogły. Siostry zmieniły nazwiska na niemieckie, sam Filip w czasach szkolnych mieszkał w Niemczech, nie szczędzono mu więc kąśliwych uwag. Przylgnęły do niego przezwiska "Hun" (sama królowa matka zwykła go tak nazywać) oraz "Szwab". I o ile monarchia zaakceptowała samego księcia, o tyle dla jego rodziny (szczególnie sióstr) miejsca na królewskim dworze, a nawet na królewskim ślubie, nie było.
Dobrze miał się jedynie Louis Mountbatten, który był szarą eminencją, głównym aranżującym związek Filipa i Elżbiety i jego duchowym ojcem. Dopiero kiedy opadł powojenny kurz i wrogość do całego państwa Niemieckiego zmalała, najmłodsza z sióstr Filipa zaczęła pojawiać się na dworze. Ich bliskie kontakty utrzymywały się aż do jej śmierci w 2001 r. Często pojawiała się na królewskich wydarzeniach, co niespecjalnie podobało się poddanym brytyjskiej monarchii.
Samemu Filipowi nie przypisywano sympatii do nazistowskich Niemiec, wszak był członkiem brytyjskiej marynarki wojennej i walczył po przeciwnej stronie.
Co ciekawe, nazistowskie sympatie zarzucano też Edwardowi VIII, który abdykował po niecałym roku panowania. Edward miał darzyć nazistów dużą sympatią i utrzymywać z nimi dobre kontakty. Jemu samemu i jego żonie zarzucano nawet przekazywanie nazistom tajnych informacji. Książe po wojnie pisał w swojej książce:
Führer uderzył mnie swoją niecodzienną osobowością, swoją teatralną postawą i narzucającą się prezencją